[論文レビュー] Adapting RNN Sequence Prediction Model to Multi-label Set Prediction

Kechen Qin, Cheng Li+2 more|arXiv (Cornell University)|Apr 11, 2019

Text and Document Classification Technologies参考文献 23被引用数 15

ひとこと要約

本論文は、ラベル系列の順序を再定義することで、RNN系列モデルをマルチラベルテキスト分類に原理的かつ適切に適用する手法を提案する。集合の確率を、ラベル系列のすべての順列確率の和として定義し、この集合確率を最大化する新たな学習目的と、最も確率の高い集合を特定する予測目的を導入することで、RNNが最適なラベル順序を自動で発見可能となる。この手法は、RCV1、AAPD、Slashdot、TheGuardianを含むベンチマークデータセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

We present an adaptation of RNN sequence models to the problem of multi-label classification for text, where the target is a set of labels, not a sequence. Previous such RNN models define probabilities for sequences but not for sets; attempts to obtain a set probability are after-thoughts of the network design, including pre-specifying the label order, or relating the sequence probability to the set probability in ad hoc ways. Our formulation is derived from a principled notion of set probability, as the sum of probabilities of corresponding permutation sequences for the set. We provide a new training objective that maximizes this set probability, and a new prediction objective that finds the most probable set on a test document. These new objectives are theoretically appealing because they give the RNN model freedom to discover the best label order, which often is the natural one (but different among documents). We develop efficient procedures to tackle the computation difficulties involved in training and prediction. Experiments on benchmark datasets demonstrate that we outperform state-of-the-art methods for this task.

研究の動機と目的

• 既存のRNNモデルがマルチラベルテキスト分類において、任意または固定されたラベル順序に依存するという限界を是正すること。これにより、最適でない性能が生じる。
• すべてのラベル集合の順列が全体の確率に寄与するという理論的に整合性のある集合確率の定式化を構築すること。
• 集合確率を最大化する新たな学習目的を設計し、事前に指定された順序なしに、RNNが最も情報の多いラベル順序を学習可能にする。
• 最も確率の高い集合を特定する予測目的を導入することで、真のマルチラベル分類タスクとの整合性を高める。
• 学習および推論のための効率的な近似手法を用いて、ベンチマークデータセットで優れた性能を示すことを実証すること。

提案手法

• 集合確率は、与えられたラベル集合のすべての順列に関する確率の和として形式的に定義され、RNNの系列確率分布から導出される。
• 組み合わせ的爆発を扱うために微分可能な近似を用い、期待される集合確率を最大化する新たな学習目的が提案される。
• 複数のラベル系列を探索し、すべての順列における合計確率が最大となる集合を選択する、効率的なビームサーチアルゴリズムが設計される。
• 各タイムステップで入力特徴を動的に重み付けするアテンションメカニズムを採用し、関連性と表現学習を向上させる。
• RNNが新しい目的に従って学習中に最適な系列順序を学習可能となるように、事前にラベル順序を指定しない。
• 大規模なラベル集合に対しても学習および推論が可能となるよう、近似推論技術が用いられる。

実験結果

リサーチクエスチョン

• RQ1 原理的かつ整合的な集合確率の定式化は、恣意的な系列→集合マッピングを越えてマルチラベル分類の性能を向上させ得るか？
• RQ2 学習中にRNNが最適なラベル順序を発見可能となることで、固定またはヒューリスティックなラベル順序よりも優れた性能が得られるか？
• RQ3 PCC や seq2seq-RNN といった最先端モデルと比較して、本手法は多様なデータセットにおいて、精度および頑健性の面で優れているか？
• RQ4 単一の最良系列に依存するのではなく、順列全体の確率を集約することにより、予測品質がどの程度向上するか？
• RQ5 ラベルの基数（ラベル数）やラベル頻度分布は、本手法の集合ベースの目的関数による性能向上にどの程度影響を及ぼすか？

主な発見

• 提案手法である set-RNN は、RCV1、AAPD、Slashdot、TheGuardian の4つのベンチマークデータセットすべてで、最先端の手法を上回る性能を発揮した。
• RCV1-v2 データセットでは、PCC や seq2seq-RNN よりも F1-macro スコアが高く、集合レベルの予測精度において顕著な向上を示した。
• ラベル基数が高いデータセット（Slashdot や TheGuardian）では、集合レベルの最適化による利益が顕著に現れ、順列数が多いためにその恩恵が顕著に現れた。
• 事例研究では、正しいラベル集合の順列全体の合計確率が、最も確率の高い単一の系列の確率を上回ることが確認され、本手法の設計が妥当であることを裏付けた。
• set-RNN に組み込まれたアテンションメカニズムは、関連するラベルや特徴に注目するのを助け、一般化性と頑健性を向上させた。
• seq2seq-RNN よりも set-RNN の系列確率分布のエントロピーが低く、より自信があり一貫性のある予測が得られていることが示された。