[論文レビュー] Coherent Hierarchical Multi-Label Classification Networks

Eleonora Giunchiglia, Thomas Lukasiewicz|arXiv (Cornell University)|Oct 20, 2020

Text and Document Classification Technologies参考文献 28被引用数 11

ひとこと要約

本稿では、階層制約を統合した制約層と特化した損失関数を備えた、階層的マルチラベル分類のための新しいニューラルネットワークフレームワーク、C-HMCNN(h)を提案する。予測の一貫性を保証するが、階層の深さに依存しないパラメータ数を維持しており、後処理を必要とせず、20の実世界ベンチマークで最先端のモデルを上回る性能を発揮する。

ABSTRACT

Hierarchical multi-label classification (HMC) is a challenging classification task extending standard multi-label classification problems by imposing a hierarchy constraint on the classes. In this paper, we propose C-HMCNN(h), a novel approach for HMC problems, which, given a network h for the underlying multi-label classification problem, exploits the hierarchy information in order to produce predictions coherent with the constraint and improve performance. We conduct an extensive experimental analysis showing the superior performance of C-HMCNN(h) when compared to state-of-the-art models.

研究の動機と目的

• 予測が事前に定義されたクラス階層を尊重する必要がある階層的マルチラベル分類（HMC）の課題に取り組む。クラスの不均衡が予測を妨げることが多い。
• 階層の一貫性を保証するために後処理を必要とするか、パラメータの複雑さが高くなる既存のモデルの限界を克服する。
• 既存のマルチラベル分類ネットワーク（h）を活用しながら、階層に配慮したコンponentsを追加することで、性能を向上させるとともに、内在的な予測の一貫性を保証する手法を開発する。
• モデルのパラメータ数が階層のレベル数に依存しないようにし、標準のハードウェア上で効率的な学習とデプロイを可能にする。
• 特に機能ゲノム学などの分野で一般的な低データ環境においても、多様で現実世界のHMCベンチマークで優れた性能を示す。

提案手法

• 事前に訓練されたマルチラベル分類ネットワークhの上に構築された制約層を導入し、クラスAの信頼度スコアがそのすべての先祖のもの以下であることを保証することで、階層の一貫性を強制する。
• モデルがスーパークラスからサブクラスに予測を移譲するタイミングを学習させる新しい損失関数MCLossを設計し、一般化性能と性能を向上させる。
• 2段階の訓練プロセスを採用する：まず、標準的なマルチラベル分類でベースネットワークhを事前学習し、次に制約層とMCLossを用いて微調整することで階層準拠を強化する。
• モデルのアーキテクチャを標準的なディープラーニングライブラリとGPUアクセcelerationに対応させ、効率的な学習と推論を可能にする。
• 階層構造を予測メカニズムに直接統合し、後処理や再順序付けの必要を回避する。
• 信頼度と階層構造に基づいて、モデルが下位クラスの予測に依存して上位ラベルを推論するタイミングを動的に学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 後処理ステップを必要とせずに、階層的一致性を持つマルチラベル予測を生成できるニューラルネットワークを設計できるか？
• RQ2 事前に訓練されたマルチラベル分類ネットワークを、階層構造を活用して不均衡なHMCタスクの性能を向上させられるか？
• RQ3 階層に配慮した損失関数が、HMC問題における予測精度と一般化性能に与える影響は何か？
• RQ4 HMCモデルのパラメータ数を階層のレベル数から分離させつつ、性能を維持または向上できるか？
• RQ5 多様で現実世界のHMCベンチマークにおいて、提案手法は最先端のモデルと比較して、精度と効率の両面で優れているか？

主な発見

• C-HMCNN(h)は、20の一般的に使用される実世界のHMCベンチマークで最先端の性能を達成し、Clus-Ens、HMC-LMLP、HMCN-F、HMCN-Rを上回っている。
• モデルは階層制約に内在的に一貫性を持つ予測を生成するため、後処理や補正ステップを一切必要としない。
• C-HMCNN(h)のパラメータ数は階層のレベル数に依存せず、標準のGPUハードウェア上で効率的な学習とデプロイが可能である。
• 提案されたMCLoss関数は、スーパクラスからサブクラスへの予測移譲のタイミングを効果的に学習させ、低頻度で深いレベルのクラスにおける性能向上に寄与している。
• 標準的なディープラーニングライブラリを用いて容易に実装可能であり、既存のニューラルネットワークアーキテクチャとも互換性がある。
• 特に顕著なクラスの不均衡が生じる状況においても、階層に配慮した学習メカニズムのおかげで、低データ環境でも頑健な性能を示している。