[論文レビュー] Improving Content-Invariance in Gated Autoencoders for 2D and 3D Object Rotation

Stefan Lattner, Maarten Grachten|arXiv (Cornell University)|Jul 5, 2017

Advanced Vision and Imaging参考文献 19被引用数 3

ひとこと要約

本稿では、2次元および3次元オブジェクトの回転に対するコンテンツ不変表現を学習する能力を向上させるために、ゲート付きオートエンコーダー（GAEs）におけるコンテンツ不変正則化（CIR）損失を提案する。類似した変換タイプを有するペア間の相互再構成誤差を、ブートストラップを用いた自己教師ありアプローチでペナルティ化することで、再構成性能を損なわずにマッピングコードの不変性を向上させる。その結果、潜在空間におけるアナロジー生成の性能が向上し、クラスタリングの質が向上する。

ABSTRACT

Content-invariance in mapping codes learned by GAEs is a useful feature for various relation learning tasks. In this paper we show that the content-invariance of mapping codes for images of 2D and 3D rotated objects can be substantially improved by extending the standard GAE loss (symmetric reconstruction error) with a regularization term that penalizes the symmetric cross-reconstruction error. This error term involves reconstruction of pairs with mapping codes obtained from other pairs exhibiting similar transformations. Although this would principally require knowledge of the transformations exhibited by training pairs, our experiments show that a bootstrapping approach can sidestep this issue, and that the regularization term can effectively be used in an unsupervised setting.

研究の動機と目的

• 2次元および3次元オブジェクトの回転タスクにおけるGAEのコンテンツ不変性を向上させること。既存のモデルは弱い不変性しか示さない。
• ラベルなしの変換タイプを必要とせず、マッピングコードの不変性を向上させる正則化手法を開発すること。
• コンテンツ不変正則化が表現品質およびアナロジー生成などの下流タスクに与える影響を評価すること。
• ブートストラップ戦略を用いて完全に自己教師ありの設定で正則化を適用できることを示すこと。
• 正則化が標準的なGAEの再構成性能を低下させず、むしろ向上させる可能性があることを示すこと。

提案手法

• 類似した変換タイプを持つ画像ペア間の対称的相互再構成誤差をペナルティ化するコンテンツ不変正則化（CIR）項を導入する。
• 訓練中に真の変換ラベルが不要なブートストラップアプローチを用いて変換類似度を推定する。
• GAEの標準的な対称的再構成損失にCIR項を追加し、再構成とコンテンツ不変性の両方を同時に最適化する。
• 類似したマッピングコードを有するペアにのみCIR項を適用し、類似したコードが類似した変換を示すと仮定する。
• 訓練の進行に伴いCIR項の影響を段階的に増加させ、自己教師あり設定での学習安定性を向上させる。
• コンテンツと変換の表現を分離できる乗法的（ゲーティング）接続を有するGAEアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 2次元および3次元オブジェクトの回転に対するGAEのマッピングコードのコンテンツ不変性を、正則化項によって向上させられるか？
• RQ2 真の変換ラベルが与えられない自己教師あり設定でも、このような正則化を実装可能か？
• RQ3 CIR正則化は表現品質およびアナロジー生成などの下流タスクに向上をもたらすか？
• RQ4 CIR正則化は標準的なGAE再構成損失に干渉するか、あるいは向上させるか？
• RQ5 ブートストラップ戦略を用いることで、教師なしで変換類似度を効果的に推定できるか？

主な発見

• CIR正則化により、類似した変換ペア間の相互再構成誤差が顕著に低減され、NORBデータセットではGAE+CIRモデルで最小誤差（0.174 vs. 2.351）を記録した。
• MNISTr20データセットでは、CIRモデルの対称的再構成誤差は0.0130であり、標準GAEの0.0173よりも良好であった。
• マッピングコード空間におけるクラスタ分離性が向上し、クラスタ間距離が大きく、クラスタ内分散が小さくなった。これは、より優れたコンテンツ不変性を示している。
• マッピングコードを用いたk近傍分類では、CIRモデルがより高い正確性を達成し、より判別力があり不変な表現であることが示された。
• 定性的なアナロジー生成結果から、GAE+CIRは特に180度回転のような曖昧なケースにおいて、より明確で正確な変換を生成した。
• 競合する目的があるにもかかわらず、CIR正則化は標準GAE損失をしばしば低減させ、再構成と不変性の間で相乗効果が生じている可能性を示唆した。