[論文レビュー] Variational Interaction Information Maximization for Cross-domain Disentanglement

HyeongJoo Hwang, Geon-Hyeong Kim+2 more|arXiv (Cornell University)|Dec 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 21

ひとこと要約

本稿では、敵対的訓練や勾配反転を用いずに、情報理論的正則化を用いてドメイン不変およびドメイン固有の表現を分離する、変分推論に基づく生成モデルである相互情報自己符号化器（IIAE）を提案する。IIAEは、外部の知識（例：単語埋め込み）を用いなくても、Sketchy Extended上でゼロショットスケッチベース画像検索（mAP: 0.573、P@100: 0.659）で最先端の性能を達成する。

ABSTRACT

Cross-domain disentanglement is the problem of learning representations partitioned into domain-invariant and domain-specific representations, which is a key to successful domain transfer or measuring semantic distance between two domains. Grounded in information theory, we cast the simultaneous learning of domain-invariant and domain-specific representations as a joint objective of multiple information constraints, which does not require adversarial training or gradient reversal layers. We derive a tractable bound of the objective and propose a generative model named Interaction Information Auto-Encoder (IIAE). Our approach reveals insights on the desirable representation for cross-domain disentanglement and its connection to Variational Auto-Encoder (VAE). We demonstrate the validity of our model in the image-to-image translation and the cross-domain retrieval tasks. We further show that our model achieves the state-of-the-art performance in the zero-shot sketch based image retrieval task, even without external knowledge. Our implementation is publicly available at: https://github.com/gr8joo/IIAE

研究の動機と目的

• ヒューリスティックな正則化手法に依存せずに、分離された表現と情報豊富な表現を学習することにより、クロスドメイン分離を解決すること。
• 情報理論に基づいた制約付き最適化問題として、ドメイン不変およびドメイン固有の表現の共同学習を形式化すること。
• VAEの尤度下界（ELBO）と自然に統合できる、目的関数の実用的下界を導出すること。
• 提案手法の有効性を、画像間変換、クロスドメイン検索、ゼロショットスケッチベース画像検索の各タスクにおいて示すこと。
• 単語埋め込みや属性アノテーションなどの外部知識に依存せずに、IIAEがZS-SBIRで最先端のモデルを上回ることを示すこと。

提案手法

• 本手法は、複数の情報制約の共同最適化としてクロスドメイン分離を定式化する。具体的には、共有表現と入力との間の相互情報量を最大化すると同時に、共有表現とドメイン固有要因との間の相互情報量を最小化する。
• エンドツーエンド学習を可能にするために、構造的後方分布近似 qφ(zx, zs, zy|x, y) = qφX(zx|x)qφS(zs|x, y)qφY(zy|y) を用いた変分推論フレームワークを導入する。
• 目的関数は、ELBOと2つの情報正則化項を組み合わせた下界として導出される。1つ目は、共有表現 ZS が最小十分統計量であるように（I(ZS; ZX, ZY) を最小化することで）制約を課すものであり、2つ目は、ZS が (X, Y) に関して最大限情報を持つように（I(ZS; X, Y) を最大化することで）制約を課すものである。
• 共有表現における不変性と圧縮性のトレードオフを調整するため、ハイパーパrameter λ を用いる。
• 敵対的訓練や勾配反転層を必要とせず、バックプロパゲーションによる学習が可能な生成モデルとして実装される。
• 共有表現 ZS は、コサイン類似度を用いた類似度検索により、画像検索などの下流タスクに利用される。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練や勾配反転を用いずに、一貫性のある情報理論的フレームワークを設計し、分離されたドメイン不変およびドメイン固有の表現を同時に学習できるか。
• RQ2 エンドツーエンド学習に適した方法で、共有表現と排他的表現の間の相互情報量制約をどのように近似できるか。
• RQ3 提案手法は、クロスドメイン画像変換および検索タスクにおける分離品質と下流タスク性能をどの程度向上させるか。
• RQ4 単語埋め込みや属性ラベルなどの外部知識に依存せずに、ゼロショットスケッチベース画像検索で最先端の性能を達成できるか。
• RQ5 共有表現が一般化された未学習クラスに適用される際、最小十分統計量としての役割が果たす意義は何か。

主な発見

• IIAEは、Sketchy Extendedデータセットを用いたゼロショットスケッチベース画像検索（ZS-SBIR）ベンチマークで、mAP 0.573、P@100 0.659 の最先端の性能を達成し、単語埋め込みや WordNet などの外部知識を用いるモデルを上回る。
• 属性や単語レベルの教師信号を用いない専用ベースライン（LCALE: mAP 0.476、SEM-PCYC: mAP 0.349）を上回ることで、本手法の有効性が裏付けられる。
• アブレーションスタディの結果、I(ZS; ZX, ZY) を最小化する正則化項と、I(ZS; X, Y) を最大化する正則化項の両方が性能向上に不可欠であり、λ が不変性と情報豊かさのバランスを制御することが確認された。
• 定性的な結果から、誤検索された画像でさえも、クエリと視覚的・意味的類似性を示すことが多く、共有表現が意味的な構造を適切に捉えていることが示唆された。
• 未学習クラスへの一般化が良好に機能しており、これは共有表現が最小十分統計量であることが要因であると考察される。
• 画像間変換およびクロスドメイン検索においても、強力な性能を発揮しており、ZS-SBIR以外のタスクに対しても汎用性が確認された。