[論文レビュー] HiNet: Hierarchical Classification with Neural Network

Zhenhua Wu, Sean Saito|arXiv (Cornell University)|May 31, 2017

Machine Learning and Data Classification参考文献 2被引用数 8

ひとこと要約

HiNetは、10,000以上のラベルを有する大規模な分類のための階層的ニューラルネットワークを提案する。階層構造はトレーニング中に共有された多段階コスト関数を用いて層状のニューロンとしてモデル化される。推論時には効率的にMAP（最大後確信度）トレースを計算するためのグリーディ・ダウンパールアルゴリズムが用いられ、パrameter複雑度が著しく低減されたO(n²)対O(n^h)である一方で、より高い精度を達成する。

ABSTRACT

Traditionally, classifying large hierarchical labels with more than 10000 distinct traces can only be achieved with flatten labels. Although flatten labels is feasible, it misses the hierarchical information in the labels. Hierarchical models like HSVM by \cite{vural2004hierarchical} becomes impossible to train because of the sheer number of SVMs in the whole architecture. We developed a hierarchical architecture based on neural networks that is simple to train. Also, we derived an inference algorithm that can efficiently infer the MAP (maximum a posteriori) trace guaranteed by our theorems. Furthermore, the complexity of the model is only $O(n^2)$ compared to $O(n^h)$ in a flatten model, where $h$ is the height of the hierarchy.

研究の動機と目的

• 10,000以上の異なるカテゴリを有する大規模な階層的ラベル空間におけるトレーニングと推論の課題に対処する。
• HSVMのような従来の階層モデルの限界を克服する。HSVMは必要なSVMの数が指数関数的に増加するため、実行不可能になる。
• トレーニングと推論の両過程で階層的ラベル構造を保持し、フラットラベルアプローチに内在する構造的事前知識の損失を回避する。
• 深さのある階層に対しても高い精度を維持できるスケーラブルでパrameter効率の良いアーキテクチャを開発する。
• 理論的裏付けのある推論アルゴリズムを提供し、グリーディ・ダウンパールアプローチにより階層を通過するMAPトレースを保証する。

提案手法

• 各ラベルをニューロンとして表現し、各レベルに停止ニューロン（赤）を設けることで、階層を段階的なニューラルネットワークとしてモデル化する。
• トレーニング時に全階層レベルに跨る統合コスト関数を用いる：$ E = \sum_{k}^{n} (\tilde{\mathbf{y}}^{(k)} - f_{\theta_k}(\mathbf{X}))^2 $。これにより、レベル間での知識移転が可能になる。
• 統合損失を通じた共有勾配更新により、レベル間でのトランスファーラーニングを実現し、一般化性能と階層的一致性を向上させる。
• 推論時には各層での事後確率 $ \mathbf{y}^{(k)} $ を計算し、その後グリーディにMAPトレースを再構築するためのダウンパールアルゴリズムを適用する。
• ダウンパールアルゴリズムは、親の割り当てを $ A = \arg\max_a y_b^{(l)} y_a^{(l-1)} $ により計算し、層ごとにトレースと確率を更新する。
• 最終的なMAPトレースは、全レベルにおいて最も高い確率を持つ停止ニューロンで終了するものとして選択される：$ L = \arg\max_l y_s^{(l)} $。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャは、10,000クラスを超える大規模な階層的ラベル空間を、構造的関係を保持したまま効果的にモデル化できるか？
• RQ2 多段階の統合損失関数は、平坦モデルやノードベースの階層モデルと比較して性能を向上させるか？
• RQ3 ダウンパールのようなグリーディ推論アルゴリズムは、階層的分類設定においてMAPトレースを保証できるか？
• RQ4 階層の深さが増すに従い、HiNetのパrameter複雑度は平坦モデルと比べてどのようにスケーリングするか？
• RQ5 HiNetは、大規模な階層的データセットにおいて、平坦ニューラルネットワークを上回る精度を維持しながら、著しく少ないパrameter数を実現できるか？

主な発見

• HiNetは11,947クラスのDMOZデータセットで41.4%の精度を達成し、ベースラインのフラットネットワークを上回った。
• HiNetのパrameter数は $ O(kn + hn^2) $ と多項式的にスケーリングするが、フラットネットワークは $ O(kn^h) $ と階層高さ $ h $ に対して指数関数的に増加する。
• ダウンパールアルゴリズムは、定理2.1～2.3により、より長いパスがより高い事後確率を持つことはないという保証があるため、MAPトレースを正当に特定する。
• 統合損失関数による効果的なレベル間の知識移転のおかげで、HiNetは深い階層に対しても高い精度を維持できる。
• 特に深さや広がりが大きい階層において、パrameter効率性が顕著に優位であり、フラットモデルは指数的パrameter増加のため実行不能になる。
• 各層に停止ニューロンを設けることで、柔軟なパス終了が可能となり、可変長の階層的トレースの推論を支援する。