[論文レビュー] Efficient strategies for hierarchical text classification: External knowledge and auxiliary tasks

Kervy Rivas Rojas, Gina Bustamante+2 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 23被引用数 7

ひとこと要約

本論文では、逆階層補助タスクを導入し、ベクトル化されたクラス定義を介して外部知識を統合することで、階層的テキスト分類の効率性と低複雑性を向上させる戦略を提案する。これらの手法をsequence-to-sequenceモデルと組み合わせることで、WOSおよびDBpediaで最先端の正確性を達成し、従来の手法と比較してパラメータ数を著しく減らし、トレーニング時間を短縮した。

ABSTRACT

In hierarchical text classification, we perform a sequence of inference steps to predict the category of a document from top to bottom of a given class taxonomy. Most of the studies have focused on developing novels neural network architectures to deal with the hierarchical structure, but we prefer to look for efficient ways to strengthen a baseline model. We first define the task as a sequence-to-sequence problem. Afterwards, we propose an auxiliary synthetic task of bottom-up-classification. Then, from external dictionaries, we retrieve textual definitions for the classes of all the hierarchy's layers, and map them into the word vector space. We use the class-definition embeddings as an additional input to condition the prediction of the next layer and in an adapted beam search. Whereas the modified search did not provide large gains, the combination of the auxiliary task and the additional input of class-definitions significantly enhance the classification accuracy. With our efficient approaches, we outperform previous studies, using a drastically reduced number of parameters, in two well-known English datasets.

研究の動機と目的

• 最先端の階層的テキスト分類（HTC）モデルの高い計算コストを低減することを目的とし、アーキテクチャに依存しない改善に焦点を当てる。
• モデルの複雑性やトレーニング時間の増加なしに、モデルの性能を向上させることを目的とする。
• 特にクラスのテキスト的定義を外部知識として、予測プロセスに統合する方法を検討すること。
• 逆階層補助タスクが誤差逆伝播と表現学習を改善するかどうかを調査すること。
• 低リソースおよび高リソースの設定下で、複数の効率的戦略を組み合わせた際の性能の変動を評価すること。

提案手法

• タスクは、エンコーダが入力ドキュメントを処理し、デコーダが階層の上位から下位へとクラスラベルを生成する、シーケンス・ツー・シーケンス学習問題として定式化される。
• 誤差逆伝播のバランスを図り、表現学習を向上させるために、予測順序を逆転させ、最も具体的なクラスからルートへと予測する補助タスクを導入する。
• 外部辞書からすべてのクラスのテキスト的定義を取得し、単語ベクタ空間に埋め込み、クラス定義ベクトル（CDV）として表現する。
• CDVは、親ノード条件付け（PNC）機構を通じて各層の予測を条件づけることで、各デコードステップで外部知識を注入する。
• CDVを活用するように変更されたビームサーチが、階層的パスの選択を改善する候補生成をガイドする。
• これらの手法を組み合わせ、2つのベンチマークデータセット（WOSおよびDBpedia）で評価し、寄与要因を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 逆階層補助タスクにより、階層的テキスト分類の性能が、各層における誤差逆伝播のバランスを改善することで向上するか？
• RQ2 クラスのベクトル化されたテキスト的定義を外部知識として統合することで、階層的テキスト分類の正確性が向上するか？
• RQ3 補助タスクと外部知識の組み合わせにより、従来の手法よりもパラメータ数を減らし、トレーニング時間を短くして、最先端の結果を得られるか？
• RQ4 これらの戦略の性能は、高リソースと低リソースのデータセットでどのように異なるか？
• RQ5 知識統合は、デコード段階で効果的に適用可能であり、階層的予測の改善に寄与するか？

主な発見

• 補助タスクと親ノード条件付け（PNC）に加え、クラス定義埋め込みを組み合わせた手法が、WOSデータセットで最も高い正確性を達成し、以前の最先端モデルを上回った。
• DBpediaデータセット（トレーニングサンプルが著しく多い）では、外部知識の恩恵がより限定的であった。これは、大規模データセットでは外部知識の相対的利点が低下することを示唆している。
• 提案手法は、WOSおよびDBpediaの両方で、従来のアプローチと比較して著しく少ないパラメータ数で最先端の性能を達成した。
• 1つのモデルのトレーニング時間は30エポックあたり約1時間であり、補助タスクによる顕著なオーバーヘッドは見られなかった。
• 変更されたビームサーチは顕著な改善をもたらさなかったが、PNC戦略はビームサーチと組み合わせた場合、一貫して性能を向上させた。
• 結果から、外部知識統合と補助タスクは直交的かつ補完的であり、両方を併用した際に最も顕著な向上が得られたことが示された。