[論文レビュー] A Survey on Extreme Multi-label Learning

Tong Wei, Zhen Mao+3 more|arXiv (Cornell University)|Oct 8, 2022

Text and Document Classification Technologies被引用数 7

ひとこと要約

本調査は、極めて大きなラベル空間（例：数百万）を対象とする極端な多ラベル学習（XML）について、形式的定義、モデルアーキテクチャ、長尾ラベル分布などの課題、および主要な手法的カテゴリーを網羅的に概説する。既存のアプローチを評価し、公開リソースを整理し、オープンセット学習、ストリーミングラベル、欠損ラベル、および視覚とドメイン知識との統合を含む未解決の研究方向性を特定する。

ABSTRACT

Multi-label learning has attracted significant attention from both academic and industry field in recent decades. Although existing multi-label learning algorithms achieved good performance in various tasks, they implicitly assume the size of target label space is not huge, which can be restrictive for real-world scenarios. Moreover, it is infeasible to directly adapt them to extremely large label space because of the compute and memory overhead. Therefore, eXtreme Multi-label Learning (XML) is becoming an important task and many effective approaches are proposed. To fully understand XML, we conduct a survey study in this paper. We first clarify a formal definition for XML from the perspective of supervised learning. Then, based on different model architectures and challenges of the problem, we provide a thorough discussion of the advantages and disadvantages of each category of methods. For the benefit of conducting empirical studies, we collect abundant resources regarding XML, including code implementations, and useful tools. Lastly, we propose possible research directions in XML, such as new evaluation metrics, the tail label problem, and weakly supervised XML.

研究の動機と目的

• 大規模なシナリオにおける従来の多ラベル学習の限界を踏まえ、教師あり学習における極端な多ラベル学習（XML）の形式的定義を明確化すること。
• 長尾ラベル分布やメモリ制約などの問題固有の課題を含め、モデルアーキテクチャに基づいてXML手法を体系的に分類・分析すること。
• コード実装やツールを含む、公開可能なリソースを収集・共有し、XMLにおける実証的研究を支援すること。
• オープンセット学習、ストリーミングラベル、欠損ラベル、およびコンピュータビジョンやドメイン知識との統合を含む、XMLにおける新たな研究方向性を特定・議論すること。

提案手法

• 各インスタンスが極めて大きなラベル空間（例：数百万）からの複数のラベルに関連付けられる教師あり学習タスクとして、XMLの形式的定義を提示する。
• 階層型、埋め込みベース、ディープラーニングアプローチなどのモデルアーキテクチャに基づいてXML手法を分類し、その長所と短所を分析する。
• スケーラビリティ、ラベル相関モデリング、長尾分布への対処、欠損ラベルのサポート、推論効率の5つの評価特性を用いた、XML手法の体系的比較を導入する。
• ペアワイズランク付け、クラスタリング、ベイジアンネットワークなどを含むラベル相関モデリング技術をレビューし、XMLへのスケーラビリティを議論する。
• 外部知識（例：Wikipedia）の利用を提案し、XMLにおけるラベル相関モデリングの向上とデータ不足問題の軽減を図る。
• 長尾画像認識から得られる技術（例：クラスバランスサンプリング、ロジット調整）をXMLに適応させ、特にマルチモーダル設定において有効であるかを議論する。

実験結果

リサーチクエスチョン

• RQ1 極端な多ラベル学習は、スケールと計算制約の観点から、従来の多ラベル学習とどのように形式的に定義され、区別されるべきか？
• RQ2 XML手法には、スケーラビリティやラベル相関モデリングといった重要な評価特性において、どのようなアーキテクチャ的・アルゴリズム的差異が存在するのか？
• RQ3 ラベルの尾部に当たるラベルがデータ不足に起因し、性能が著しく劣るという状況において、XMLモデルはどのようにして長尾ラベル分布を効果的に処理できるか？
• RQ4 推論中に新しいまたは未知のラベルが出現するオープンセットやストリーミングラベルのシナリオに、XMLを拡張するにあたり、どのような課題と機会が存在するか？
• RQ5 外部知識やマルチモーダルデータ（例：テキストと画像）は、特にデータが少ない状況において、どのようにXMLの性能向上に寄与できるか？

主な発見

• すべての望ましい特性を満たすXML手法は存在せず、スケーラビリティ、ラベル相関モデリング、長尾分布への対処の間にはトレードオフが存在する。
• ラベル相関を明示的にモデリングする手法（例：ベイジアンネットワークやクラスタリングを用いるもの）は、計算コストが高く、数百万ラベルにまでスケーラブルではない。
• 既存のアプローチは、データ不足のため尾部ラベルに対して苦戦しており、頭部ラベルと比較して性能が著しく劣る。これにより、より良いクラスバランス技術の開発が急務であることが示唆される。
• 長尾画像認識から得られる技術（例：クラスバランスサンプリング、ロジット調整）は、XMLでは十分に検討されていないが、尾部ラベルの性能向上に有効である可能性を示している。
• 外部知識（例：Wikipedia）の統合により、ラベル類似度推定が向上し、特にデータが少ない状況での一般化性能が向上する。
• MUFINは、マルチモーダル学習にXMLの原則を適用したパイオニア的業績であり、XMLをビジョン・ランゲージタスクに拡張する可能性を示している。