[論文レビュー] Learning Robust Representations via Multi-View Information Bottleneck

Marco Federici, Anjan Dutta+3 more|arXiv (Cornell University)|Feb 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 83

ひとこと要約

本論文は情報ボトルネックを教師なしのマルチビュー学習へ拡張し、共有されていないビュー情報を除去して頑健性を高める Multi-View Information Bottleneck (MIB) を提案します。低ラベル環境で Sketchy と MIR-Flickr において最先端の結果を達成し、データ拡張による単一ビューの頑健性も強化します。

ABSTRACT

The information bottleneck principle provides an information-theoretic method for representation learning, by training an encoder to retain all information which is relevant for predicting the label while minimizing the amount of other, excess information in the representation. The original formulation, however, requires labeled data to identify the superfluous information. In this work, we extend this ability to the multi-view unsupervised setting, where two views of the same underlying entity are provided but the label is unknown. This enables us to identify superfluous information as that not shared by both views. A theoretical analysis leads to the definition of a new multi-view model that produces state-of-the-art results on the Sketchy dataset and label-limited versions of the MIR-Flickr dataset. We also extend our theory to the single-view setting by taking advantage of standard data augmentation techniques, empirically showing better generalization capabilities when compared to common unsupervised approaches for representation learning.

研究の動機と目的

• 制限されたラベル、またはラベルなしの場合の多視点の冗長性を用いて頑健な表現学習を動機づける。
• 情報ボトルネックの原理を教師なしのマルチビュー設定へ拡張する。
• ビュー間で共有される予測情報を保ちながら、過剰な情報を最小化する扱いやすい目的関数を開発する。
• ビュー間の相互冗長性が優れた一般化と頑健性をもたらすことを示す。

提案手法

• ビュー間の冗長性を定義し、マルチビュー情報ボトルネックの目的を導出する。
• 最小限の十分表現とビューエンコーダ間の対称的KLダイバージェンスを結合した対称的損失を定式化する。
• ビュー間の類似性を最大化するためにサンプルベースの相互情報推定量を使用する。
• 互いに冗長なビューを生むデータ拡張を通じて自己教師付きの単一ビュー学習へ拡張する。
• ビューが周辺分布を共有する場合、実務上は1つのエンコーダを共有することを許可する。
• 十分性と頑健性のトレードオフを調整するbetaパラメータでMIB損失を計算するアルゴリズム的ステップを提供する。

実験結果

リサーチクエスチョン

• RQ1 相互冗長性を持つ教師なしのマルチビュー学習は、予測力を保ちながら過剰情報を減らした表現を生み出すか？
• RQ2 MIB目的が、両ビューで共有されていないビュー固有情報を除去することで頑健性を達成できるか？
• RQ3 標準的なマルチビューデータセットにおける低ラベル域でのMIBの性能は、既存のベースラインと比較してどうか？
• RQ4 データ拡張に基づく自己教師付きが相互冗長性を再現し、単一ビューの頑健性を高められるか？

主な発見

方法	mAP@all	Prec@200
SaN (Yu et al., 2017)	0.208	0.292
GN Triplet (Sangkloy et al., 2016)	0.529	0.716
Siamese CNN (Qi et al., 2016)	0.481	0.612
Siamese-AlexNet (Liu et al., 2017)	0.518	0.690
Triplet-AlexNet (Liu et al., 2017)	0.573	0.761
DSH ∗ (Liu et al., 2017)	0.711	0.866
GDH ∗ (Zhang et al., 2018)	0.810	-
MV-InfoMax	0.008	0.008
MIB	0.856 ± 0.005	0.848 ± 0.005
MIB ∗ (64-bits)	0.851 ± 0.004	0.834 ± 0.003

• MIBはSketchyでの性能が高く、mAP@all = 0.856 および Prec@200 = 0.848（β = 1、64-bit 表現）を達成。
• MIR-Flickrでは、特に低ラベル域で競争力のあるmean average precisionを達成し、ラベルが不足している場合にいくつかのベースラインを上回る。
• βを高くすると、より積極的な圧縮を課すことでラベル不足環境で性能が向上しつつ、予測情報を保持する。
• 対称化されたKL項を介してビュー間の表現を揃え、頑健なクロスビュー検索と分類に寄与する。
• MNISTでの自己教師付き単一ビュー実験は、観測情報をより多く捨てる表現の方が、ラベル数が少ない場合に良い性能を示し、βが約1でラベル効率の良い性能を示す。
• タスクを通じて、MIBは一貫して過剰情報を減らしつつ、ビュー間で共有される予測内容を保持する。