[論文レビュー] Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning

Chengliang Liu, Jie Wen+5 more|arXiv (Cornell University)|Apr 26, 2024

Text and Document Classification Technologies被引用数 10

ひとこと要約

MTDは、不完全なマルチビュー弱多ラベル学習のために、共有特徴とビュー非公開特徴をデカップリングする二チャンネルエンコーダフレームワークを提案します。クロスチャネルコントラストロス、ランダムフラグメントのマスキング、そして欠損ビューと欠損ラベルに対処する弱ラベルガイド付きグラフ正則化を用い、強力な経験的成果を示します。

ABSTRACT

Multi-view learning has become a popular research topic in recent years, but research on the cross-application of classic multi-label classification and multi-view learning is still in its early stages. In this paper, we focus on the complex yet highly realistic task of incomplete multi-view weak multi-label learning and propose a masked two-channel decoupling framework based on deep neural networks to solve this problem. The core innovation of our method lies in decoupling the single-channel view-level representation, which is common in deep multi-view learning methods, into a shared representation and a view-proprietary representation. We also design a cross-channel contrastive loss to enhance the semantic property of the two channels. Additionally, we exploit supervised information to design a label-guided graph regularization loss, helping the extracted embedding features preserve the geometric structure among samples. Inspired by the success of masking mechanisms in image and text analysis, we develop a random fragment masking strategy for vector features to improve the learning ability of encoders. Finally, it is important to emphasize that our model is fully adaptable to arbitrary view and label absences while also performing well on the ideal full data. We have conducted sufficient and convincing experiments to confirm the effectiveness and advancement of our model.

研究の動機と目的

• ビューとラベルの両方が欠落する可能性がある、不完全なマルチビュー弱多ラベル学習の課題に対処する。
• 各ビューごとに共有表現とビュー専用表現をデカップリングする二チャンネルエンコーダアーキテクチャを提案する。
• 共有表現を揃えつつビュー固有情報を保持するためのクロスチャネルコントラストロスを導入する。
• エンコーダ学習を強化するためにベクトル特徴のランダムフラグメントマスキングを取り入れる。
• 埋め込み空間におけるサンプルの幾何学を保持するために弱ラベルガイド付きグラフ正則化を活用する。

提案手法

• 各ビューごとに二チャンネルエンコーダを導入する：共有エンコーダ E_v^S とビュー専用エンコーダ E_v^O が、共有 S^(v) とプライベート O^(v) 特徴を生成する。
• クロスチャネルコントラストロス L_ccc を定義し、ビュー間で共有特徴を引き寄せつつ、共有とプライベート特徴を引き離す。クロスサンプルのクラス情報に依存せずに。
• 利用可能なビューを横断して統合された共有 S-bar とプライベート O-bar を計算してビュー表現を融合し、それらを非線形相互作用 Z = theta(O-bar) * S-bar によって結合する。
• 元のビュー特徴を再構成するデコーダを追加し、欠損エントリに対するマスキングを用いて再構成損失 L_re を最適化する。
• ラベルに基づく類似度行列を用いて埋め込み Z のトポロジーを保持する弱ラベルガイド付きグラフ正則化損失 L_gc を計算する。
• 未知ラベルに対処するために重み付き損失 L_mc を用いたマルチラベル分類ヘッドを適用し、総損失 L_all = L_mc + alpha L_gc + beta L_ccc + gamma L_re に組み込む。
• 入力特徴に対してランダムフラグメントマスキング M^(v) を組み込み、エンコーダを変更せずに MAE マスキング戦略に触発された masked 入力 X'^(v) を作成して学習する。
• Corel5k, Pascal07, ESPGame, IAPRTC12, MIRFLICKR の5データセットで、50%欠損ビューと50%欠損ラベルを用いて実験的に検証し、6つの指標 (AP, HL, RL, AUC, OE, Cov) を用いる。
• 不完全データシナリオ下で、C2AE、GLOCAL、CDMM、DM2L、LVSL、iMVWL、NAIM3L、DICNet を含む8つのベースラインに対するMTDの優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 不完全なマルチビュー弱多ラベルデータの下で、二チャンネルデカップリングフレームワークは共有情報とビュー専用情報を効果的に分離できるか。
• RQ2 クロスチャネルコントラスト学習は、ビュー間で共有表現の意味的品質を向上させつつビュー専用特性を保持できるか。
• RQ3 ベクトル特徴のランダムフラグメントマスキングはエンコーダ学習と不完全データでの全体的な性能にどう影響するか。
• RQ4 ラベルガイド付きグラフ正則化は部分的に欠損したラベルでも埋め込み空間の幾何構造を保持できるか。
• RQ5 提案されたフレームワークは不完全データと完全観測データの両方に適応性があり性能を発揮するか。

主な発見

• MTDは、50%欠損ビューおよび50%欠損ラベル下で、5データセットの複数指標において7つの強力なベースラインを上回る。
• クロスチャネルコントラストロスを備えた深層の二チャンネルエンコーダは、共有情報とビュー専用情報のバランスを効果的に取り、マルチラベル精度を向上させる。
• ベクトル特徴のランダムフラグメントマスキングは顕著な性能向上をもたらし、多視点ベクター性データへの有用性を裏付ける。
• 弱ラベルガイド付きグラフ正則化は埋め込み空間におけるサンプルの幾何学的構造を保持するのに寄与し、より良い一般化に貢献する。
• MTDは完全観測データでも堅牢で強い結果を達成し、任意のビューとラベルの可用性への適応性を示す。