[論文レビュー] An Efficient Approach to Informative Feature Extraction from Multimodal Data

Lichen Wang, Jiaxiang Wu+5 more|arXiv (Cornell University)|Nov 22, 2018

Music and Audio Processing参考文献 30被引用数 8

ひとこと要約

本稿では、Hirschfeld-Gebelein-Rényi (HGR) 最大相関の厳密なホワイトニング制約を緩和するソフト正則化子に置き換えることで、スケーラブルな最適化を可能にする、効率的で安定したマルチモodal特徴抽出のための新規フレームワーク、Soft-HGRを提案する。この手法は、HGRの幾何的性質を保ちながら判別性能を向上させることで、ラベルが限られた状況やモダリティ欠損下でも、教師ありおよび半教師あり設定において優れた性能を達成する。

ABSTRACT

One primary focus in multimodal feature extraction is to find the representations of individual modalities that are maximally correlated. As a well-known measure of dependence, the Hirschfeld-Gebelein-Rényi (HGR) maximal correlation becomes an appealing objective because of its operational meaning and desirable properties. However, the strict whitening constraints formalized in the HGR maximal correlation limit its application. To address this problem, this paper proposes Soft-HGR, a novel framework to extract informative features from multiple data modalities. Specifically, our framework prevents the "hard" whitening constraints, while simultaneously preserving the same feature geometry as in the HGR maximal correlation. The objective of Soft-HGR is straightforward, only involving two inner products, which guarantees the efficiency and stability in optimization. We further generalize the framework to handle more than two modalities and missing modalities. When labels are partially available, we enhance the discriminative power of the feature representations by making a semi-supervised adaptation. Empirical evaluation implies that our approach learns more informative feature mappings and is more efficient to optimize.

研究の動機と目的

• マルチモダリティ特徴学習におけるHGR最大相関の厳密なホワイトニング制約が引き起こす高い計算コストと数値的不安定性に対処すること。
• モダリティ間の相関が弱いか、共有情報が限られている状況でも、特徴表現の判別力を向上させること。
• HGRに基づく特徴抽出を2つ以上のモダリティや欠損モダリティに対応できるように一般化すること。
• ラベル情報を特徴学習目的に統合することで、半教師あり学習を組み込むこと。
• マルチモダリティ表現学習に適したスケーラブルで安定的かつ効率的な最適化フレームワークを開発すること。

提案手法

• Soft-HGRは、HGRにおける硬いホワイトニング制約を、2つの内積に基づくソフト正則化子に置き換える。1つは特徴写像間の内積、もう1つは特徴共分散間の内積である。
• 目的関数は、HGRと同一の特徴幾何を維持しつつ、行列の逆行列や分解を回避することで、数値的安定性と効率性を向上させるように設計されている。
• 対称的定式化を用いることで、目的関数を2つ以上のモダリティを扱えるように一般化し、マルチモダリティ設定に拡張する。
• 欠損モダリティの対処には、データの可用性を示すバイナリフラグを組み込み、入力が不完全であっても頑健な表現を学習できるようにする。
• 半教師あり設定では、目的関数に教師あり損失を追加し、ハイパーパrameter λ が非教師あり相関と教師あり判別性の間のトレードオフを制御する。
• スパース特徴のためのバイインタラクション層を備えた深層ニューラルネットワークを用い、その後に平均プーリングとsoftmax層を配置して予測を行う。

実験結果

リサーチクエスチョン

• RQ1 HGR最大相関における硬いホワイトニング制約を緩和するソフト正則化アプローチは、幾何的忠実性を損なわずに置き換え可能か？
• RQ2 提案されたSoft-HGRフレームワークは、HGRに基づく手法と比較して、最適化の安定性と効率性が向上しているか？
• RQ3 Soft-HGRは、2つ以上のモダリティや実世界のデータにおける欠損モダリティに対しても、効果的に一般化可能か？
• RQ4 ラベルが限られた状況で、ラベル情報を半教師あり的に統合することで、判別性能が向上するか？
• RQ5 データスパarsityやモダリティ欠損下において、Soft-HGRは最先端モデルと比較して、正確性と頑健性に優れているか？

主な発見

• ラベルが限られた状況では、半教師ありSoft-HGRが全モデルの中で最高の発音予測精度を達成し、顕著な性能向上を示した。
• Soft-HGRとDeep CCAの判別性能は同等であり、両者とも等価な特徴表現を学習していることが示唆された。
• ラベルが極めて希少な場合に限って、Deep CCA や Soft-HGR といった非教師ありモデルは、元の特徴よりも分類性能が向上するが、それ以外の状況では、エンドツーエンドDNNに劣る。
• レコメンデーションシステムタスクにおいて、半教師ありSoft-HGRはAUCで全ベースライン（LR, FM, Deep FM, Neural FM）を上回り、特にラベルが限られた状況で顕著な優位性を示した。
• Soft-HGR損失の重みλを0に減少させると、半教師ありSoft-HGRのAUCが低下したため、非教師あり目的が性能向上に顕著に寄与していることが確認された。
• 行列の逆行列や分解が不要なため、最適化が安定的かつ効率的であり、高次元特徴へのスケーラビリティを実現している。