[論文レビュー] Symmetry and Group in Attribute-Object Compositions

Yong–Lu Li, Yue Xu+2 more|arXiv (Cornell University)|Apr 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 4

ひとこと要約

本論文は、属性-オブジェクト構成における対称性を根本的な原則として導入し、群論にインspiredされたフレームワークであるSymNetを提案する。SymNetは、エンド・トゥ・エンド学習を通じて、対称性、閉包性、結合則、単位元、逆元の性質を強制する。相対的移動距離（RMD）を用いて、不安定な視覚的パターンではなく、変換の耐性に基づいて属性を分類することで、構成的ゼロショット学習で最先端の性能を達成する。

ABSTRACT

Attributes and objects can compose diverse compositions. To model the compositional nature of these general concepts, it is a good choice to learn them through transformations, such as coupling and decoupling. However, complex transformations need to satisfy specific principles to guarantee the rationality. In this paper, we first propose a previously ignored principle of attribute-object transformation: Symmetry. For example, coupling peeled-apple with attribute peeled should result in peeled-apple, and decoupling peeled from apple should still output apple. Incorporating the symmetry principle, a transformation framework inspired by group theory is built, i.e. SymNet. SymNet consists of two modules, Coupling Network and Decoupling Network. With the group axioms and symmetry property as objectives, we adopt Deep Neural Networks to implement SymNet and train it in an end-to-end paradigm. Moreover, we propose a Relative Moving Distance (RMD) based recognition method to utilize the attribute change instead of the attribute pattern itself to classify attributes. Our symmetry learning can be utilized for the Compositional Zero-Shot Learning task and outperforms the state-of-the-art on widely-used benchmarks. Code is available at https://github.com/DirtyHarryLYL/SymNet.

研究の動機と目的

• 属性-オブジェクト変換における、これまで無視されてきた対称性を特定・形式化すること。
• 群の公理と対称性を強制する統一的なディーブラーニングフレームワークの開発。
• 潜在空間における変換不変性と相対的移動を活用することで、構成的ゼロショット学習の性能を向上させること。
• 分類に脆弱な視覚的属性パターンに依存するのではなく、属性変化の動的挙動に依存するより強固な分類手法への置き換え。

提案手法

• SymNetは、属性を追加するためのカップリングネットワーク（CoN）と、属性を削除するためのデカップリングネットワーク（DecoN）の2つのサブネットワークを採用する。
• エンド・トゥ・エンド学習中に、専用の損失関数を用いて、群の公理（閉包性、結合則、単位元、逆元）を強制する。
• 対称性がコアな目的として組み込まれている：すでに属性を持つオブジェクトにその属性を追加する、または属性を持たないオブジェクトから属性を削除する操作は、オブジェクトを変化させない必要がある。
• 相対的移動距離（RMD）という新規メトリクスが、入力と変換済み埋め込み間の距離を計算し、属性の有無を推定する。
• RMDメカニズムは、'追加'および'削除'操作後の距離を比較する：入力に近い出力が得られるほど、その属性が存在すると推定される。
• 注意メカニズムが特徴表現を強化するために使用され、L2距離がRMD計算の主なメトリクスとして用いられる。

実験結果

リサーチクエスチョン

• RQ1 対称性は、冗長な変換に対して不変性を保証する、属性-オブジェクト構成における基礎的原則として形式化可能か？
• RQ2 群論を応用して、微分可能でエンド・トゥ・エンドのディーブラーニングフレームワークを設計できるか？
• RQ3 視覚的外観に依存する従来の手法ではなく、変換のダイナミクスに注目することで、RMDに基づく属性認識は、優れた性能を発揮できるか？
• RQ4 群の公理と対称性を強制することで、構成的ゼロショット学習における一般化性能はどの程度向上するか？
• RQ5 提案手法は、MIT-States や UT-Zappos といった多様なベンチマークにおいても一般化可能か？

主な発見

• SymNetは、構成的ゼロショット学習ベンチマークで最先端の性能を達成し、UT-Zapposでは52.1%のトップ1精度、MIT-Statesでは19.9%を記録した。
• 対称性損失（L_sym）を削除すると、UT-Zapposで1.6%、MIT-Statesで1.6%のトップ1精度低下が生じ、その重要性が確認された。
• アブレーションスタディの結果、分類損失（L_cls）を削除すると最も深刻な性能低下が生じ、UT-Zapposでトップ1精度が28.7%に低下した。これは、共同最適化の重要性を示している。
• RMDでL2距離の代わりにL1距離またはコサイン距離を使用すると、性能が著しく悪化し、L1ではUT-Zapposでトップ1精度が37.5%に低下した。
• t-SNEによる可視化により、学習済み潜在空間で閉包性、逆元性、可換性を含むすべての群の公理が良好に満たされていることが確認された。
• 対称性の性質は強く学習されている：属性を持つオブジェクトでは'追加'操作後にほとんど移動せず、'削除'操作後に大きく移動する。逆に、属性を持たないオブジェクトでは'追加'操作後に大きく移動し、'削除'操作後にほとんど移動しない。