[論文レビュー] Uncertainty-Aware Multi-View Representation Learning

Yu Geng, Zongbo Han+2 more|arXiv (Cornell University)|Jan 15, 2022

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

本稿では、変分オートエンコーダー風の再構成に基づくサンプル固有の不確実性推定を用いて、視点を動的に重み付けることで、不確実性に敏感なニューラルネットワーク（DUA-Nets）を提案する。視点ごとの不確実性を再構成分散の副産物としてモデル化することで、DUA-Netsはノイズの多い視点を適応的に抑制し、耐障害性に優れた性能を示し、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Learning from different data views by exploring the underlying complementary information among them can endow the representation with stronger expressive ability. However, high-dimensional features tend to contain noise, and furthermore, the quality of data usually varies for different samples (even for different views), i.e., one view may be informative for one sample but not the case for another. Therefore, it is quite challenging to integrate multi-view noisy data under unsupervised setting. Traditional multi-view methods either simply treat each view with equal importance or tune the weights of different views to fixed values, which are insufficient to capture the dynamic noise in multi-view data. In this work, we devise a novel unsupervised multi-view learning approach, termed as Dynamic Uncertainty-Aware Networks (DUA-Nets). Guided by the uncertainty of data estimated from the generation perspective, intrinsic information from multiple views is integrated to obtain noise-free representations. Under the help of uncertainty, DUA-Nets weigh each view of individual sample according to data quality so that the high-quality samples (or views) can be fully exploited while the effects from the noisy samples (or views) will be alleviated. Our model achieves superior performance in extensive experiments and shows the robustness to noisy data.

研究の動機と目的

• 教師なし表現学習において、サンプルや視点ごとにばらつきのあるノイズレベルや品質を有するマルチビューデータを統合する課題に対処すること。
• 固定または等しい重みではなく、各サンプルごとに高品質な視点に高い重要性を割り当てる方法を開発すること。
• 教師なしで、生成モデルからの再構成分散を用いて、ラベルを必要とせずにデータの不確実性を推定すること。
• 不確実性推定と表現学習を統合したエンドツーエンドのフレームワークを構築し、両者を同時に改善すること。

提案手法

• DUA-Netsは、共有された潜在表現から各視点を再構成するためのリバーサルネットワーク（R-Nets）を採用し、表現学習と不確実性推定の両方を統合的に学習可能にする。
• 各視点について、R-Netはガウス分布の平均と分散を出力する。ここで分散がその視点の不確実性推定値として機能する。
• 不確実性を用いて、表現学習中に視点を動的に重み付けし、低不確実性（高品質）の視点に大きな影響を与える。
• 再構成損失と不確実性に基づく重み付けを同時に最適化することで、表現品質と不確実性推定の相互改善を実現する。
• 協調学習メカニズムにより、不確実性推定が表現学習を導き、逆に表現学習が不確実性推定を向上させるという相互作用を確保し、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再構成分散からの不確実性推定が、マルチビュー表現学習における動的視点重み付けを効果的に導くことができるか？
• RQ2 不確実性モデリングは、教師なし設定においてノイズの多い視点に対する耐性をどのように向上させるか？
• RQ3 教師なしで、不確実性に基づいてクリーンなサンプルとノイズの多いサンプルを区別できるか？
• RQ4 不確実性推定の統合が、学習された表現の品質と一般化性能にどのように影響を与えるか？

主な発見

• DUA-Netsは不確実性モデリングを含まない標準的なR-Netsよりもクラスタリングタスクで優れた性能を示し、不確実性が表現品質を向上させることを実証した。
• ノイズ強度が増加する状況でもDUA-Netsは安定した性能を維持するが、ベースラインのR-Netsは著しく性能を低下させ、優れた耐障害性を示した。
• 不確実性推定はデータ品質の違いを効果的に捉えることができた：合成的に注入されたノイズ比率が高いほど不確実性が上昇した。
• 50％のサンプルがノイズで損傷していても、不確実性推定は安定的かつ有用なままであり、優れた一般化能力を示した。
• 最適な性能は潜在次元50で達成された。これは、次元が不足している場合や過剰にパラメータ化されている場合に性能が劣化することを示している。