[論文レビュー] Deep Partial Multi-View Learning

Changqing Zhang, Yajie Cui+4 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

本稿では、敵対的訓練と非パrametric分類損失を用いて、完全で多様性に富んだ潜在表現を共同で学習し、欠損したビューを補完する深層学習フレームワーク、Cross Partial Multi-View Networks (CPM-Nets) を提案する。本手法は、複雑なビュー欠損シナリオ下でも分類、表現学習、データ補完の面で最先端の性能を達成し、50%の欠損率においてベースライン比でNMIで最大5.11%、ACCで最大3.36%の向上を達成した。

ABSTRACT

Although multi-view learning has made signifificant progress over the past few decades, it is still challenging due to the diffificulty in modeling complex correlations among different views, especially under the context of view missing. To address the challenge, we propose a novel framework termed Cross Partial Multi-View Networks (CPM-Nets), which aims to fully and flflexibly take advantage of multiple partial views. We fifirst provide a formal defifinition of completeness and versatility for multi-view representation and then theoretically prove the versatility of the learned latent representations. For completeness, the task of learning latent multi-view representation is specififically translated to a degradation process by mimicking data transmission, such that the optimal tradeoff between consistency and complementarity across different views can be implicitly achieved. Equipped with adversarial strategy, our model stably imputes missing views, encoding information from all views for each sample to be encoded into latent representation to further enhance the completeness. Furthermore, a nonparametric classifification loss is introduced to produce structured representations and prevent overfifitting, which endows the algorithm with promising generalization under view-missing cases. Extensive experimental results validate the effectiveness of our algorithm over existing state of the arts for classifification, representation learning and data imputation.

研究の動機と目的

• 任意の複雑なビュー欠損パターンを有するマルチビュー・データから、頑健で完全かつ多様性に富んだ表現を学ぶ課題に対処する。
• 完全なビューを仮定するか、固定されたグループ化戦略に依存する既存手法の限界を克服し、高次元または不完全なビュー構成下でも柔軟性を発揮する。
• ビュー補完を劣化プロセスとしてモデル化し、敵対的訓練によって安定化させることで、表現の完全性を向上させる。
• クラスタリングに類似した非パrametric分類損失を用いることで、学習された表現の一般化性と分離性を向上させる。
• 欠損パターンに関係なく、すべてのサンプルとビューを統合的に活用できることを保証し、現実世界の不完全なモダリティを有するデータに適応可能にする。

提案手法

• データ伝送のアナロジーに基づく理論的枠組みを用いて、マルチビュー表現の完全性と多様性を形式化し、表現学習を劣化プロセスとしてモデル化することで、一貫性と補完性のバランスを図る。
• 生成ネットワークが観測されたビューから欠損したビューを再構築する敵対的戦略を導入し、識別器が現実的な補完を強制することで、表現品質の安定化と向上を実現する。
• クラスタ構造を持つ表現を促進する非パrametric分類損失を採用し、とくにビュー欠損状況下でも分離性と一般化性を向上させる。
• すべての観測されたビューを統一された潜在空間にマップする共有エンコーダを用い、すべてのサンプルとビューの組み合わせにおける共同最適化を可能にする。
• 訓練中に欠損ビューをシミュレートするための劣化戦略を適用し、モデルが不完全な入力からの情報再構築と符号化を暗黙的に学習できるようにする。
• 再構築損失（補完用）、コントラスト損失（表現学習用）、非パrametric分類損失（構造と一般化性用）の組み合わせを用いて、エンド・ツー・エンドでモデルを訓練する。

Figure 1: Illustration of Cross Partial Multi-View Networks for classification. Given multi-view data with missing views (black blocks), the encoding 2 2 2 Since we employ a backward encoding strategy which encodes the information from multiple views into latent representations, it can be considered

実験結果

リサーチクエスチョン

• RQ1 任意のビュー欠損パターンを有するマルチビュー・データから、完全で多様性に富んだ潜在表現を共同で学習できる深層学習フレームワークは存在するか？
• RQ2 敵対的訓練は、欠損ビューの補完品質をどのように向上させ、その結果として表現の完全性と一般化性をどのように向上させるか？
• RQ3 非パrametric分類損失は、部分的マルチビュー学習における潜在表現の構造性と分離性をどの程度向上させるか？
• RQ4 重度のビュー欠損状況下で、提案されたCPM-Netsフレームワークは、分類、表現学習、データ補完の面で最先端の手法と比較してどのように差をつけるか？
• RQ5 完全なビューを必要としない状況下でも、本モデルは自然に発生する部分的マルチビュー・データセットに効果的に一般化できるか？

主な発見

• CPM-GANは、6つのすべてのデータセットにおいて、すべての比較手法を上回るビュー補完性能を示し、全欠損率で最小のNRMSEを記録した。これにより、敵対的補完戦略の有効性が裏付けられた。
• 平均して、50%の欠損率下で、CPM-GANは2番目に優れた手法よりもAccuracyで3.36%、NMIで5.11%向上し、優れた頑健性と一般化性能を示した。
• アブレーションスタディの結果、CPM-GANはCPM-without-GANを常に上回り、特に高い欠損率下で顕著であった。これにより、敵対的訓練が補完と表現品質を向上させることを実証した。
• 非パrametric分類損失は、より構造的で分離性の高い表現を生み出し、とくにデータ量が少ない状況下でモデルの解釈可能性と性能を向上させた。
• 完全ビューの訓練データをわずかに必要とするVIGANでさえも、2ビューのデータセット（CUBとAnimal）においてCPM-Netsがより優れたクラスタリング性能を示した。これは、完全に教師なしの設定下でも本手法の優位性を示している。
• 合成データおよび現実世界の自然な部分的マルチビュー・データセットの両方で、本モデルは強力な性能を維持した。これにより、複雑な現実世界のビュー欠損パターンに適応可能であることが確認された。

Figure 2: Illustration of CPM-Nets for unsupervised learning. The latent representation learning and missing data imputation equipped with adversarial strategy (CPM-GAN) are jointly conducted to improve each other.