[論文レビュー] Filter based Taxonomy Modification for Improving Hierarchical Classification

Azad Naik, Huzefa Rangwala|arXiv (Cornell University)|Mar 2, 2016

Text and Document Classification Technologies参考文献 23被引用数 4

ひとこと要約

本稿では、専門家が定義した分類体系を変更することで階層的分類の性能を向上させる、スケーラブルでデータ駆動型のフィルターベースの再接続手法（rewHier）を提案する。コストの高いラッパー型アプローチとは異なり、rewHierは類似度に基づくフィルタリングを用いて効率的に階層構造を再構築し、DMOZなどの大規模データセットにおいて、特にレアクラスに対して顕著な性能向上を達成している。平坦分類および最先端の階層的分類手法を上回る性能を発揮している。

ABSTRACT

Hierarchical Classification (HC) is a supervised learning problem where unlabeled instances are classified into a taxonomy of classes. Several methods that utilize the hierarchical structure have been developed to improve the HC performance. However, in most cases apriori defined hierarchical structure by domain experts is inconsistent; as a consequence performance improvement is not noticeable in comparison to flat classification methods. We propose a scalable data-driven filter based rewiring approach to modify an expert-defined hierarchy. Experimental comparisons of top-down HC with our modified hierarchy, on a wide range of datasets shows classification performance improvement over the baseline hierarchy (i:e:, defined by expert), clustered hierarchy and flattening based hierarchy modification approaches. In comparison to existing rewiring approaches, our developed method (rewHier) is computationally efficient, enabling it to scale to datasets with large numbers of classes, instances and features. We also show that our modified hierarchy leads to improved classification performance for classes with few training samples in comparison to flat and state-of-the-art HC approaches.

研究の動機と目的

• 構造的不整合のため、階層的分類における専門家が定義した階層の性能が低いという問題に対処すること。
• レアなカテゴリ（学習サンプルが少ない）の分類精度を向上させるために、スケーラブルで効率的な分類体系の修正手法を開発すること。
• 大規模な設定において、ラッパー型の階層再接続手法の計算的に非現実的な問題を克服すること。
• さまざまなデータセットおよび分類アプローチにおいて、修正された階層の有効性を評価すること。
• データ駆動型の階層構造修正が、クラスタリングや平坦化に基づく手法よりも階層的分類において優れていることを示すこと。

提案手法

• 本手法は、クラス間の特徴類似度に基づいて、最適でない親子関係を同定・修正することで、専門家が定義した階層構造をフィルターベースで再接続する。
• 類似度の閾値を適用して、子ノードを別の親に再割り当てするかどうかを決定し、特にリーフレベルでの分類性能の向上に焦点を当てる。
• 再接続プロセスは反復的かつグリーディーであり、繰り返し再訓練を必要とせず、期待される性能向上を最大化する変更を優先する。
• 本手法は計算的に効率的であり、分類パイプライン全体の複数回評価を必要とせず、ラッパー型手法とは明確に異なる。
• TD-LR や HierCost などの任意のトップダウン型階層的分類フレームワークと互換性があり、高次元で大規模なデータセットにも適用可能である。
• 評価にはマクロ-F1や階層的F1といった指標を用い、平坦分類や他の階層構造修正手法と性能を比較している。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型でフィルターベースの分類体系再接続アプローチは、専門家が定義した、クラスタリング済み、または平坦化された階層よりも、階層的分類性能をより効果的に向上させることができるか？
• RQ2 提案された再接続手法は、10個未満の学習例しか持たないレアカテゴリにおいて、平坦分類や最先端の階層的分類器よりも優れた性能を達成するか？
• RQ3 大規模データセットにおいて、本手法の計算効率は、既存のラッパー型階層再接続技術と比べてどの程度優れているか？
• RQ4 修正された階層構造は、DMOZ などの多様なベンチマークデータセットにおいて、分類性能をどの程度向上させるか？
• RQ5 修正された階層構造は、アルゴリズム固有の調整を必要とせず、さまざまな階層的分類アルゴリズムと効果的に組み合わせて使用できるか？

主な発見

• 提案された rewHier 手法は、DMOZ データセットにおけるレアカテゴリの65％で、平坦分類よりも分類性能が向上した（10個未満の学習例を有する）。
• 再接続された階層を用いたトップダウン型階層的分類は、マクロ-F1および階層的F1スコアにおいて、元の専門家が定義した階層、平坦化またはクラスタリング済みの変種を上回った。
• DMOZ-2012 データセットにおいて、rewired hierarchy を使用した TD-LR モデルは、平坦分類および HierCost モデルと比較して予測実行時間で3.5倍の高速化を達成した。
• 本手法は、TD-LR や HierCost といった複数のデータセットおよび分類アプローチにおいて一貫した性能向上を示し、特にレアクラスにおいて統計的に有意な改善が得られた。
• 再接続された階層は、データ不足が主な課題となるレアカテゴリの一般化性能を向上させ、過学習を軽減し、F1スコアを向上させた。
• フィルターベースのアプローチの計算的効率性により、数千のクラスと高次元特徴を有する大規模データセットへのスケーラビリティが実現可能となり、従来のラッパー型手法とは対照的であった。