[論文レビュー] Transformation Properties of Learned Visual Representations

Taco Cohen, Max Welling|UvA-DARE (University of Amsterdam)|Dec 24, 2014

Advanced Vision and Imaging参考文献 18被引用数 40

ひとこと要約

本論文は、3次元物体の回転に対して線形に変化する視覚的表現を学習する生成モデルを提案している。このモデルは、非可換な回転群 SO(3) の潜在的表現を用いる。ポーズを潜在空間上の群作用としてモデル化することで、未観測の物体の向きへの補間と外挿が正確に達成され、均一なサンプリング下で非可約表現が相関なしになることが示され、これは一般的な自己教師あり学習の目的関数の理論的根拠を提供する。

ABSTRACT

When a three-dimensional object moves relative to an observer, a change occurs on the observer's image plane and in the visual representation computed by a learned model. Starting with the idea that a good visual representation is one that transforms linearly under scene motions, we show, using the theory of group representations, that any such representation is equivalent to a combination of the elementary irreducible representations. We derive a striking relationship between irreducibility and the statistical dependency structure of the representation, by showing that under restricted conditions, irreducible representations are decorrelated. Under partial observability, as induced by the perspective projection of a scene onto the image plane, the motion group does not have a linear action on the space of images, so that it becomes necessary to perform inference over a latent representation that does transform linearly. This idea is demonstrated in a model of rotating NORB objects that employs a latent representation of the non-commutative 3D rotation group SO(3).

研究の動機と目的

• 学習された視覚的表現が3次元シーンの運動、特に回転の下でどのように変化するかを理解すること。
• 不変表現の限界を克服するため、不変性ではなく変換特性に焦点を当てる。
• 透視投影による部分観測の下でも、SO(3) に対して線形に変化する潜在的表現を学習するモデルを開発すること。
• 非可約群表現と潜在空間における統計的非相関（分散独立）との間の理論的関連を確立すること。
• 生成モデルにおける補間と外挿を通じて、未観測の物体のポーズへの一般化を実証すること。

提案手法

• モデルは、3次元回転群 SO(3) がユニタリ群表現を介して線形に作用する潜在空間を用いる。
• 生成ニューラルネットワークは、各回転された潜在的表現を画像にマッピングし、群作用がネットワークの重みに埋め込まれる。
• 同じ物体の複数のビューを表すために、1つの潜在的ベクトルの係数を用いる。各ビューは SO(3) 内の群要素に対応する。
• 非可約表現の直和として表現を構築することで、群論と数学的に整合性を保証する。
• 再構成誤差と正則化を組み合わせた正則化された訓練目的関数を用い、分離可能で非相関な表現を促進する。
• NORB データセット上で、20°の方位回転によるデータオーグメンテーションを施した、ハード-EMに類似したアルゴリズムでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習された視覚的表現は、3次元剛体運動、特に回転の下でどのように変化するか？
• RQ2 群表現の非可約性と潜在空間における統計的独立性または非相関の関係は何か？
• RQ3 SO(3) に対して線形に変化する潜在的表現は、未観測の物体のポーズへの一般化を可能にするか？
• RQ4 透視投影による部分観測は、表現変換の線形性にどのように影響するか？
• RQ5 非可換な群作用（SO(3)）を用いた学習モデルは、可換または線形仮定に基づくモデルを上回る性能を示せるか？

主な発見

• 訓練中に観測されなかった物体の姿勢に対しても、現実的で妥当な画像を生成でき、未観測の角度への強い一般化を示した。
• 20°の刻みで訓練されたにもかかわらず、方位角40°の範囲で正確な補間が達成された。
• 未観測のポーズ（例：0° と 40°）への外挿により、物体の同一性を保った妥当な画像が生成された。
• 非可約表現の使用により、軌道の均一サンプリング下で特徴が非相関になることが確認され、重要な理論的主張の妥当性が裏付けられた。
• SO(3) 群表現に基づく潜在空間の構造により、視覚的特徴の一貫性があり解釈可能な変換が可能になった。
• 標準的なオートエッコーダーと比較して、ポーズ一般化性能が優れており、共変表現を学習する数学的に根拠のあるフレームワークを提供した。