[論文レビュー] A Concise yet Effective model for Non-Aligned Incomplete Multi-view and Missing Multi-label Learning

Xiang Li, Songcan Chen|arXiv (Cornell University)|May 3, 2020

Text and Document Classification Technologies参考文献 51被引用数 7

ひとこと要約

本稿では、ラベル不足、視覚不完全性、視覚不一致の3つを同時に解決することで、非対応で不完全な多視覚および欠損多ラベル学習のための簡潔で1つのハイパーパrameterのみを必要とするモデルを提案する。ラベルのグローバル（高ランク）およびローカル（低ランク）構造モデリングを用いて、インジケータ行列により複数の視覚間でラベルを整合化し、5つの実データセットで最先端の性能を達成した。線形時間計算量を達成しており、視覚の事前整合化がなくても優れた性能を発揮する。

ABSTRACT

In reality, learning from multi-view multi-label data inevitably confronts three challenges: missing labels, incomplete views, and non-aligned views. Existing methods mainly concern the first two and commonly need multiple assumptions to attack them, making even state-of-the-arts involve at least two explicit hyper-parameters such that model selection is quite difficult. More roughly, they will fail in handling the third challenge, let alone addressing the three jointly. In this paper, we aim at meeting these under the least assumption by building a concise yet effective model with just one hyper-parameter. To ease insufficiency of available labels, we exploit not only the consensus of multiple views but also the global and local structures hidden among multiple labels. Specifically, we introduce an indicator matrix to tackle the first two challenges in a regression form while aligning the same individual labels and all labels of different views in a common label space to battle the third challenge. In aligning, we characterize the global and local structures of multiple labels to be high-rank and low-rank, respectively. Subsequently, an efficient algorithm with linear time complexity in the number of samples is established. Finally, even without view-alignment, our method substantially outperforms state-of-the-arts with view-alignment on five real datasets.

研究の動機と目的

• 多視覚多ラベル学習における欠損ラベル、不完全な視覚、非対応な視覚の3つを同時に取り上げる課題に取り組む。
• 従来の手法に共通する複数の仮定やハイパーパrameterに依存するのを減らす。
• ラベル不足、視覚不完全性、視覚不一致の3つを同時に処理できる統合フレームワークを構築する。
• 事前整合化や強い仮定を必要とせずに、複数の視覚間で効果的なラベル整合化を実現する。
• 1つのハイパーパラメータで十分な性能を発揮するように、最小限のユーザー介入でモデルを構築する。

提案手法

• 回帰フレームワーク内でラベルの可用性と視覚の完全性をモデリングするためのインジケータ行列を導入する。
• 異なる視覚からの個々のラベルとすべてのラベルを、共通のラベル空間に同時に統合する。
• 多ラベルデータのグローバル構造を高ランクとして、ローカル構造を低ランクとしてモデリングし、ラベル関係を保持する。
• 表現学習、欠損データ処理、ラベル統合を同時に最適化する問題を定式化する。
• サンプル数に対して線形時間計算量を達成する効率的なアルゴリズムを設計し、スケーラビリティを確保する。
• 交互最適化を用いて目的関数を解き、収束性と実用的効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、仮定を最小限に抑えつつ、欠損ラベル、不完全な視覚、非対応な視覚を同時に効果的に処理できるか？
• RQ2 グローバル（高ランク）およびローカル（低ランク）ラベル構造モデリングを組み込むことで、不完全な多視覚多ラベル学習における性能がどのように向上するか？
• RQ3 複数のハイパーパラメータを必要とする最先端手法と比較して、1つのハイパーパラメータのみを有するモデルがどれほど優れた性能を発揮できるか？
• RQ4 訓練時に視覚の整合化を強制しない状況でも、提案手法が強力な性能を維持できるか？
• RQ5 線形時間計算量を有する本手法は、データサイズの増加に伴いどのようにスケーリングするか？

主な発見

• 提案手法は、視覚の事前整合化なしでも5つの実世界データセットで最先端の性能を達成し、整合化に依存する従来手法を上回った。
• 1つのハイパーパラメータでのみ性能を維持でき、複数のパrameterを必要とする手法と比較して、モデル選択が著しく簡素化された。
• グローバル（高ランク）およびローカル（低ランク）ラベル構造モデリングの統合により、ラベル表現が向上し、一般化性能が向上した。
• アルゴリズムはサンプル数に対して線形時間計算量を達成しており、大規模データセットにおける効率的な学習が可能になった。
• 実験結果から、欠損ラベルや不完全な視覚に対しても本手法は頑健であり、全評価データセットで一貫した改善が得られた。
• アブレーションスタディの結果、グローバルおよびローカルラベル構造モデリングの両方が性能向上に顕著な寄与をしていることが確認された。