[論文レビュー] Improving Classification When a Class Hierarchy is Available Using a Hierarchy-Based Prior

Babak Shahbaba, Radford M. Neal|ArXiv.org|Oct 20, 2005

Imbalanced Data Classification Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、事前に定義されたクラス階層において近いクラスの分類パラメータを相関付ける階層的事前分布を備えたベイジアン多項ロジスティック回帰モデルを提案する。このアプローチにより、特に訓練データが限られる状況でも分類精度が向上する。シミュレーションデータおよび実際のドキュメントラベリングタスクの両方で、標準的MNLおよびネストドMNLモデルを上回る性能を示し、事前知識が利用可能な状況では誤差率と対数尤度の両面で優れた結果を達成している。

ABSTRACT

We introduce a new method for building classification models when we have prior knowledge of how the classes can be arranged in a hierarchy, based on how easily they can be distinguished. The new method uses a Bayesian form of the multinomial logit (MNL, a.k.a. ``softmax'') model, with a prior that introduces correlations between the parameters for classes that are nearby in the tree. We compare the performance on simulated data of the new method, the ordinary MNL model, and a model that uses the hierarchy in different way. We also test the new method on a document labelling problem, and find that it performs better than the other methods, particularly when the amount of training data is small.

研究の動機と目的

• クラスの類似性に関する事前知識（階層構造）が利用可能な状況で分類性能を向上させること。
• 標準的多項ロジスティック回帰（MNL）モデルの限界、すなわちクラス間の独立性を仮定し階層構造を無視する点を是正すること。
• 木構造のクラス階層に基づいて、クラスの類似性に関する事前信念を、パラメータの相関事前分布として表現する手法の開発。
• シミュレーションデータおよび実世界のデータに対して、標準的MNLおよびネストドMNLモデルと比較して本手法の性能を評価すること。
• データが少ない状況（事前知識が最も価値ある状況）において、本手法が有効であることを示すこと。

提案手法

• 木構造の階層に従って近接するクラスの回帰係数間に相関を誘導する階層的事前分布を備えたベイジアン多項ロジスティック回帰（MNL）モデルを採用する。
• 木構造の共通祖先を持つクラスは、類似度が高いと仮定し、それらのパラメータを相関付けるように事前分布を定義する。
• 各クラスへのルートからのパスに沿った寄与の合算により、MNLモデルのパラメータに階層的事前分布を適用し、相関の強度を制御するハイパーパrameterを導入する。
• 後部確率推定にマルコフ連鎖モンテカルロ（MCMC）を用い、精度パラメータにガンマ分布を用いたハイパーパラメータを設定し、自動適応を可能にする。
• MNLモデルにおける重複を回避しつつクラス間の対称性を維持する再パラメータ化を実施する。
• MCMCサンプリング中のハイパーパrameterのトレースプロットおよび平均対数尤度の推移を用いて収束性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多項ロジスティック回帰モデルの事前分布にクラス階層を組み込むことで、標準的MNLモデルと比較して分類性能が向上するか？
• RQ2 提案手法の階層的事前分布モデルは、階層を段階的選択に分解するネストドMNLモデルと比較して、性能に優れているか？
• RQ3 予測知識が最も価値ある低データ環境において、本手法がより顕著な向上を示すか？
• RQ4 木構造の階層に基づく相関事前分布により、クラスの類似性を効果的にモデル化できるか？
• RQ5 本手法は、複雑なクラス構造を有する実世界の分類問題に対しても、ロバストかつスケーラブルか？

主な発見

• シミュレーションデータでは、提案手法（corMNL）は標準的MNL（9.4%誤差、-0.3998 対数尤度）およびLavenの尤度ベースモデルより低い誤差率（9.3%）と高い平均対数尤度（-0.3602）を達成した。
• 完全な訓練データを用いたドキュメントラベリングタスクでは、corMNLはMNLおよびtreeMNLの両方を平均対数尤度および誤差率の両面で上回り、対数尤度においてはMNL（p = 0.002）およびtreeMNL（p = 0.004）と比較して統計的に有意な改善を示した。
• 200件の訓練データのみで実行した場合、corMNLはMNL（-0.5441）およびtreeMNL（-0.5381）よりも有意に高い平均対数尤度（-0.5160）を達成し、p値はそれぞれ0.002および0.004であった。
• 誤差率の改善はわずかに有意でなかった（MNL比較でp = 0.09、treeMNL比較でp = 0.06）、これは対数尤度が性能向上を検出するのにより感受性が高い指標であることを示唆している。
• 標準的MNLおよびtreeMNLモデルの間には、統計的に有意な性能差が認められず、ネストドMNLアプローチが標準的MNLを一貫して上回るとは限らないことが示された。
• 結果から、相関事前分布による階層構造の統合が、特にデータが少ない状況で一般化性能の向上に寄与することを確認した。