[論文レビュー] Understanding Visual Concepts with Continuation Learning

WILLIAM F. WHITNEY, Michael Chang+2 more|arXiv (Cornell University)|Feb 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 36

ひとこと要約

本論文では、動画シーケンス内の時間的連続性を活用して、分離可能で記号的（symbolic）な視覚的表現を学習する継続的学習フレームワークを提案する。1フレームから次のフレームへ、隠れ状態の少数のコンポonentのみをゲーティングすることで、ポーズ、照明、オブジェクト位置などの変化要因が離散的かつ解釈可能な単位に分離され、アタリゲームや3D顔データセットにおいても教師なしで要因分解された表現を達成する。

ABSTRACT

We introduce a neural network architecture and a learning algorithm to produce factorized symbolic representations. We propose to learn these concepts by observing consecutive frames, letting all the components of the hidden representation except a small discrete set (gating units) be predicted from the previous frame, and let the factors of variation in the next frame be represented entirely by these discrete gated units (corresponding to symbolic representations). We demonstrate the efficacy of our approach on datasets of faces undergoing 3D transformations and Atari 2600 games.

研究の動機と目的

• 手動でのアノテーションなしに、生画像シーケンスから分離可能で記号的な視覚的コンセプトを自己教師ありで学習する手法を開発すること。
• 深層学習において多くの隠れ要因が混同されており意味的になく、解釈不能であるという課題に対処すること。
• 動画フレーム間の時間的連続性を活用して、オブジェクトの運動、ポーズ、照明の変化といった高レベルの視覚的コンセプトを推論すること。
• 隠れ表現の変化を離散的かつ解釈可能な成分に分離することで、視覚データに対する記号的推論を可能にすること。
• 少数の離散的ゲーティングユニットが、複雑な視覚的変換を捉えつつも、不変なシーン特徴を保持できることを示すこと。

提案手法

• モデルは連続するフレームに共通するエンコーダを備えた深層畳み込みオートエンコーダを用い、隠れ表現 h_{t-1} と h_t を生成する。
• ゲーティングヘッドは、h_t の1つ以上のコンポーネントを選択し、それらを h_{t-1} の対応するコンポーネントに置き換えることで、復元用の新しい隠れ表現 ŝ_t を形成する。
• 再構成損失は、ŝ_t から現在のフレーム x_t を予測することで最小化され、ゲーティングされたコンポーネントが x_{t-1} から x_t への変化のみを符号化することを促進する。
• ソフトからハードへのゲーティング機構が用いられ、温度パラメータ γ を用いて、微分可能なソフトアテンションにより二値選択を強制する。
• 訓練中にゲーティングのログットにノイズが追加され、鋭さのスケジュールにより、時間経過とともにモデルがハード決定に収束する。
• モデルは、変化を最小限の離散的ユニットのみで表現させることで、分離性を促進し、残りの表現は前のフレームから予測される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、教師なしで生動画シーケンスから分離可能で記号的な視覚的表現を学習できるか？
• RQ2 画像シーケンスの時間的連続性を活用することで、潜在空間の離散的かつ解釈可能な成分に変化要因を分離できるか？
• RQ3 少数の潜在ユニットのみを特定的に更新するゲーティング機構は、標準的なオートエンコーダーよりも優れた分離性と解釈可能性を実現できるか？
• RQ4 モデルは、3D顔変換やアタリゲームのフレームなど、多様な視覚ドメインに、最小限のアーキテクチャ変更で一般化できるか？
• RQ5 個々の潜在ユニットを操作することで、照明、ポーズ、オブジェクト位置といった特定の視覚的属性をどれほど制御できるか？

主な発見

• モデルは、顔の方位、仰角、照明方向、パドル位置、残機数といった個々の変化要因を、潜在空間に明確に分離され、解釈可能なユニットとして捉えることに成功した。
• アタリ・ブレイクアウトデータセットでは、1つのゲーティングユニットがパドル位置を制御し、別のユニットが残機数を制御し、他のユニットが照明や背景を制御しており、明確な分離性を示した。
• 合成顔シーケンスでは、1つのゲーティングユニットが照明、仰角、方位の変化を捉えており、生成画像に対する滑らかで意味的な制御が可能であった。
• モデルは、わずか数個のゲーティングコンポーネントのみを用いても、現在のフレームの高精度な再構成を達成しており、視覚的変化が記号的ユニットに効果的に圧縮されていることを示した。
• 訓練の終了に伴い、ゲーティング機構はハード決定に収束し、最終モデルでは、1つまたは3つの離散的コンポーネントのみで、フレーム間のすべての変化を表現していた。
• 個々の潜在ユニットの操作により、意味的に明確な画像変換が得られ、各ゲーティングユニットが明確な視覚的コンセプトに対応していることが確認された。