[論文レビュー] Multi-label Classification using Labels as Hidden Nodes

Jesse Read, Jaakko Hollmén|arXiv (Cornell University)|Mar 31, 2015

Text and Document Classification Technologies参考文献 15被引用数 7

ひとこと要約

本論文は、ラベルをニューラルネットワーク型アーキテクチャ内の合成隠れノードとして扱うことで、明示的なラベル依存関係モデリングの必要性を回避する、新しいマルチラベル分類アプローチを提案する。入力特徴量とラベル出力を統合した中間隠れ表現を用いることで、線形ベースラーナーを用いた場合に競争力のある性能を達成し、勾配ベース手法に比べて顕著にスケーラビリティが向上する。

ABSTRACT

Competitive methods for multi-label classification typically invest in learning labels together. To do so in a beneficial way, analysis of label dependence is often seen as a fundamental step, separate and prior to constructing a classifier. Some methods invest up to hundreds of times more computational effort in building dependency models, than training the final classifier itself. We extend some recent discussion in the literature and provide a deeper analysis, namely, developing the view that label dependence is often introduced by an inadequate base classifier, rather than being inherent to the data or underlying concept; showing how even an exhaustive analysis of label dependence may not lead to an optimal classification structure. Viewing labels as additional features (a transformation of the input), we create neural-network inspired novel methods that remove the emphasis of a prior dependency structure. Our methods have an important advantage particular to multi-label data: they leverage labels to create effective units in middle layers, rather than learning these units from scratch in an unsupervised fashion with gradient-based methods. Results are promising. The methods we propose perform competitively, and also have very important qualities of scalability.

研究の動機と目的

• ラベル依存関係のモデリングに大きく依存する従来のマルチラベル分類手法における非効率性と過学習の問題に対処すること。
• ラベル依存関係はデータに内在する性質なのか、それとも弱いベースラーナーやグリーディ推論スキームの補填によるものなのかを調査すること。
• 反復的トレーニングを必要とせず、ラベルを合成隠れノードとして活用することで分類性能を向上させる、スケーラブルで効率的な手法を開発すること。
• ラベルの組み合わせが、バックプロパゲーションを必要としない即時の隠れ表現として有効であることを示すこと。

提案手法

• 本手法は、入力特徴量とラベル出力の組み合わせから中間表現を生成することで、ラベルを合成隠れノードとして扱う。
• 内層ノードがラベルの論理的組み合わせによって構成される多層構造を構築し、効果的にラベルベクトルを特徴量に似た表現に変換する。
• 予測結果が前のラベルから得られたものを次の分類器の入力として入力するキャスケード構造を採用し、分類器チェーンに類似しているが、確率的推論を必要としない。
• 2つの変種を導入する：CCASL（人工ラベルを用いた分類器チェーン）とPCCASL（モンテカルロサンプリングを用いた確率的CCASL）、これにより柔軟でスケーラブルな推論が可能になる。
• 隠れ層の勾配ベーストレーニングを回避し、ラベルの組み合わせから直接合成ノードを構築することで、計算コストを顕著に削減する。
• これらの合成特徴量に対して線形ベースラーナー（例：ロジスティック回帰やランダムフォレスト）を適用し、高速かつスケーラブルなトレーニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 多層アーキテクチャ内でラベルを隠れノードとして扱うことで、ラベル依存関係を明示的にモデリングする従来手法を上回ることができるか？
• RQ2 ラベル依存関係モデリングによる性能向上は、データに内在する構造的性質によるものか、それとも弱いベースラーナーやグリーディ推論の補填によるものか？
• RQ3 合成ラベルの組み合わせが、バックプロパゲーションや反復的トレーニングを必要としない即時の隠れ表現として有効に機能するか？
• RQ4 ラベルを隠れノードとして使用することで、特に線形ベースラーナーを用いた場合にスケーラビリティと一般化性能が向上するか？

主な発見

• 提案手法であるCCASLは、複数のデータセットで競争力ある性能を達成し、ハミングスコアとエクサクトマッチの両面でバイナリリレバンスおよび従来の分類器チェーンを上回る。
• モンテカルロサンプリングを用いたPCCASLはさらに性能を向上させ、合成ラベルフレームワークにおける確率的推論の有効性を示している。
• 本手法は特に線形ベースラーナーを用いる場合に顕著なスケーラビリティを示し、明示的なラベル依存関係モデリングがなくても良好な性能を発揮する。
• 結果から、ラベルの組み合わせを隠れノードとして用いる手法は、ランダムプロジェクションネットワーク（例：ELM）よりも効果的で、標準的なバックプロパゲーションニューラルネットワーク（MLP）よりも高速であることが示された。
• シンプルな線形モデルでも高い性能を達成しており、性能向上の主な要因は複雑なベースラーナーではなく、合成ノードの構築にあると示唆される。
• Scene、Ohsumed、MediaMillなどのデータセットにおける実証的評価により、ハミングロスやエクサクトマッチ指標において一貫した性能向上が確認された。