[論文レビュー] Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification

Xudong Tian, Zhizhong Zhang+4 more|arXiv (Cornell University)|Apr 7, 2021

Video Surveillance and Tracking Methods参考文献 43被引用数 11

ひとこと要約

本論文は、相互情報量推定を回避するための変分推論を用いて表現学習を解析的に最適化する、情報ボトルネック手法の新規アプローチである変分自己蒸留（VSD）を提案する。VSD、変分クロス蒸留（VCD）、変分相互学習（VML）を用いることで、タスク関連の情報を保持し、視覚特徴に依存するノイズを排除することで、最小限の計算コストと強い理論的裏付けのもと、クロスモodalな人物再識別で最先端の性能を達成する。

ABSTRACT

The Information Bottleneck (IB) provides an information theoretic principle for representation learning, by retaining all information relevant for predicting label while minimizing the redundancy. Though IB principle has been applied to a wide range of applications, its optimization remains a challenging problem which heavily relies on the accurate estimation of mutual information. In this paper, we present a new strategy, Variational Self-Distillation (VSD), which provides a scalable, flexible and analytic solution to essentially fitting the mutual information but without explicitly estimating it. Under rigorously theoretical guarantee, VSD enables the IB to grasp the intrinsic correlation between representation and label for supervised training. Furthermore, by extending VSD to multi-view learning, we introduce two other strategies, Variational Cross-Distillation (VCD) and Variational Mutual-Learning (VML), which significantly improve the robustness of representation to view-changes by eliminating view-specific and task-irrelevant information. To verify our theoretically grounded strategies, we apply our approaches to cross-modal person Re-ID, and conduct extensive experiments, where the superior performance against state-of-the-art methods are demonstrated. Our intriguing findings highlight the need to rethink the way to estimate mutual

研究の動機と目的

• 情報ボトルネック（IB）最適化における相互情報量推定の長年の課題に取り組むこと。これは表現学習におけるスケーラビリティと頑健性を制限する要因である。
• 明示的な相互情報量推定の代替手段として、理論的裏付けがあり、スケーラブルで解析的な代替手法をIBベースのモデルに開発すること。
• 強い事前知識に依存せずに、多モダリティ学習における視覚変化への頑健性を向上させることで、視覚特徴に依存する情報とタスクに不要な情報を排除すること。
• 表現の十分性と一貫性を同時に最適化することで、クロスモダリティ・ペルソン再識別で優れた性能を達成すること。
• 変分推論に基づく蒸留を用いる場合、明示的な相互情報量推定は、効果的な表現学習に必要ではないことを示すこと。

提案手法

• 変分推論を用いてIB目的関数を解析的に再構築する変分自己蒸留（VSD）を提案し、直接的な相互情報量推定を回避する。
• 自己蒸留メカニズムを採用し、モデルが自身の表現からラベル関連の情報を再構築するように学習させることで、タスク関連特徴の保持を保証する。
• 変分クロス蒸留（VCD）を用いてVSDを多視覚学習に拡張し、視覚に依存する情報を最小化することで、異なる視覚からの表現を一致させる。
• 変分相互学習（VML）を導入し、対称的な方法でモダリティ間の相互知識移動を促進することで、一貫性を向上させる。
• VSD、VCD、VMLに基づく訓練損失を共同最適化し、互いに補い合うように設計することで、表現の十分性と一貫性の両方を向上させる。
• 完全結合層3層のみで構成される軽量なIBアーキテクチャを採用し、標準モデルと比較して追加計算コストを最小限に抑える（推論時間1.09倍、追加パラメータ3.04M）。

実験結果

リサーチクエスチョン

• RQ1 表現学習において、明示的な推定なしに相互情報量を効果的に最適化できるか？
• RQ2 変分推論は、情報ボトルネックフレームワークにおける相互情報量推定のスケーラブルで解析的な代替手段として機能できるか？
• RQ3 強い事前知識に依存せずに、多モダリティ学習における視覚変化への表現の頑健性をどのように向上させられるか？
• RQ4 自己蒸留とクロス蒸留メカニズムは、クロスモダリティ・ペルソン再識別において、特徴の十分性と一貫性をどの程度向上させられるか？
• RQ5 視覚特徴に依存する情報を排除することで、クロスモダリティマッチングタスクにおける一般化性能と性能が向上するか？

主な発見

• 提案されたVSD手法は、クロスモダリティ・ペルソン再識別ベンチマークで最先端の性能を達成し、既存のSOTA手法を上回る。
• VSDは、タスク関連の情報を適切に保持するとともに、不要な干渉要因を効果的に抑制することが、埋め込み空間のt-SNE可視化から明らかになった。
• VSD、VCD、VMLの併用により、モダリティ間で極めて一貫性の高い表現が得られ、従来のIBとは異なり、明確で凝縮されたクラスタが形成されている。
• 計算コストは最小限に抑えられ（トレーニング時間1.09倍、追加パラメータ3.04M）、従来のIB（相互情報量推定器を搭載）と比較して顕著に低い（1.26倍、35.71Mパラメータ）。
• t-SNEプロットから、VSDとVCDが視覚特徴に依存する情報を効果的に排除し、異なるモダリティ間で同一アイデンティティの明確で一致したクラスタを形成していることが確認された。
• 図7に示すように、相互情報量の適合プロセスは、トレーニング中に表現内の予測情報がラベルの真の情報に徐々に近づくことを示しており、本手法の理論的収束性が裏付けられた。