[論文レビュー] Information Competing Process for Learning Diversified Representations

Jie Hu, Rongrong Ji+5 more|arXiv (Cornell University)|Jun 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 7

ひとこと要約

本稿では、入力との相互情報量を最大化する部分と最小化する部分に特徴表現を分割することで、相反する相互情報量制約を持つ、情報競合プロセス（ICP）という新しい枠組みを提案する。これらの競合的部品は冗長性を避けるために独立して学習され、その後効果的に統合されることで、より分離され、識別性の高い特徴が得られ、画像分類および再構成タスクにおいて、自己教師あり学習および教師あり学習の両設定で性能が向上する。これは、最先端の分離度スコアを達成した。

ABSTRACT

Learning representations with diversified information remains as an open problem. Towards learning diversified representations, a new approach, termed Information Competing Process (ICP), is proposed in this paper. Aiming to enrich the information carried by feature representations, ICP separates a representation into two parts with different mutual information constraints. The separated parts are forced to accomplish the downstream task independently in a competitive environment which prevents the two parts from learning what each other learned for the downstream task. Such competing parts are then combined synergistically to complete the task. By fusing representation parts learned competitively under different conditions, ICP facilitates obtaining diversified representations which contain rich information. Experiments on image classification and image reconstruction tasks demonstrate the great potential of ICP to learn discriminative and disentangled representations in both supervised and self-supervised learning settings.

研究の動機と目的

• 表現学習における多様な表現を学ぶという未解決問題に取り組む。
• 既存手法が単一の相互情報量制約に依存するため、重複した情報が多く、あまり有益でない特徴が得られることの制限を克服する。
• 表現の異なる部分が入力から別個で補完的な情報を学ぶことを促進する枠組みを開発する。
• 競合的に学習された表現の効果的統合を可能にし、下流タスクの性能を向上させる。
• ICPの有効性を教師ありおよび自己教師あり学習の両設定で検証する。

提案手法

• ICPは表現を2つの部分に分割し、それぞれが異なる相互情報量の目的関数に制約を受ける：一方は入力との相互情報量を最大化し、他方は最小化する。
• 2つの部分は最適化中に互いの知識にアクセスできない競合的な設定で独立して学習される。
• 独立した学習後、2つの部分は連結され、下流タスクの実行に同時に使用され、相乗的な特徴学習が可能になる。
• 教師ありおよび自己教師あり設定の両方で、競合的および協調的フェーズをバランスさせる新しい目的関数を用いて最適化される。
• このフレームワークは深層ニューラルネットワークを用いて実装され、VGG、GoogLeNet、ResNet、DenseNet、およびβ-VAEアーキテクチャに適用されている。
• 分離度にはMIGスコア、再構成品質にはMSEおよびSSIMが用いられている。

実験結果

リサーチクエスチョン

• RQ1 相反する相互情報量制約を持つ部分の競合を強制する表現学習フレームワークは、より多様で有益な特徴を学習できるか？
• RQ2 表現部分の競合的学習は特徴の重複を防ぎ、分離度を向上させるか？
• RQ3 競合的に学習された部分の相乗的統合は、画像分類や再構成といった下流タスクの性能を向上させるか？
• RQ4 ベンチマークデータセットにおいて、ICPは最先端の手法と比較して分離度および再構成品質で優れているか？
• RQ5 自己教師あり設定において、ICPは微細な意味的意味を持つ分離された表現をどの程度学習できるか？

主な発見

• 3D Facesデータセットでは、ICPはMIGスコア0.73を達成し、β-VAE（0.54）およびβ-TCVAE（0.62）を上回った。
• dSpritesデータセットでは、ICPはMIGスコア0.48を達成し、β-VAE（0.22）およびβ-TCVAE（0.38）を上回った。
• CelebAにおける自己教師あり再構成タスクでは、ICPはMSE 8.5×10⁻³、SSIM 0.62を達成し、β-VAEのMSE 9.2×10⁻³およびSSIM 0.60を上回った。
• 定性的な分析から、ICPはdSpritesにおける回転、3D Facesにおける顔の幅、CelebAにおけるヒゲの有無といった微細な属性を効果的に分離していることが示された。
• アブレーションスタディの結果、競合プロセスを除去すると分離度の性能が低下し、その必要性が裏付けられた。
• 複数のアーキテクチャおよび学習設定において一貫した向上が確認され、ICPの汎用性と頑健性が裏付けられた。