[論文レビュー] DOC: Deep Open Classification of Text Documents

Lei Shu, Hu Xu+1 more|arXiv (Cornell University)|Sep 25, 2017

Text and Document Classification Technologies参考文献 18被引用数 24

ひとこと要約

本稿では、従来のモデルを拡張して分布外（新規）ドキュメントを検出できる、テキスト分類のための新しい深層学習アプローチであるDOC（Deep Open Classification）を提案する。1対restのシグモイド出力層とガウスフィッティングを用いた拒否閾値最適化により、OpenMax や cbsSVM などの最先端手法を著しく上回り、20 Newsgroupsで見られるクラスが25%の状況において最大82.3%のマクロ-F1を達成した。

ABSTRACT

Traditional supervised learning makes the closed-world assumption that the classes appeared in the test data must have appeared in training. This also applies to text learning or text classification. As learning is used increasingly in dynamic open environments where some new/test documents may not belong to any of the training classes, identifying these novel documents during classification presents an important problem. This problem is called open-world classification or open classification. This paper proposes a novel deep learning based approach. It outperforms existing state-of-the-art techniques dramatically.

研究の動機と目的

• 動的環境において頻繁に新規の未学習クラスが出現する状況におけるクローズドワールド分類の限界を解決すること。
• 既知のクラスの分類と、未学習の新規クラスに属するドキュメントの拒否を両立できる深層学習モデルの開発。
• 未学習クラスの検証データを必要とせず、オープンスペースリスクを低減し、拒否閾値を最適化することで、オープンワールド分類性能を向上させること。
• 大多数のテストドキュメントが未学習クラスに属する状況でも、高い精度と再現率を維持できる、頑健で汎用性の高いオープン分類を実現すること。

提案手法

• テキストから階層的特徴を抽出するために、単語埋め込みと複数の畳み込みフィルタ（サイズ3, 4, 5）を用いたCNNベースのアーキテクチャを採用する。
• 最終層にソフトマックスの代わりに1対restのシグモイド活性化関数を用いることで、オープンスペースリスクを低減し、既知クラスと未知クラスの分離をより良くする。
• 各クラスのロジットに対してガウスフィッティングを適用し、最適なクラス固有の拒否閾値（t_i）を決定する。これにより、固定されたt=0.5の基準値が置き換えられる。
• 未学習クラスの事前例を必要とせず、学習済みクラスにおける交差エントロピー損失と未知クラスの拒否を組み合わせて、エンドツーエンドでモデルを訓練する。
• 本アーキテクチャはインクリメンタル学習をサポートしており、画像分野にも応用可能であることが、視覚タスクへの移行性の実証によって示された。
• 評価では1対restの多値分類設定に加え、「拒否」クラスを追加し、m+1クラス（m個の学習済みクラス + 1つの拒否クラス）におけるマクロ-F1を計算する。

実験結果

リサーチクエスチョン

• RQ1 新規クラスの事前例が一切ない状況下でも、深層学習モデルが分布外テキストドキュメントを効果的に検出できるか？
• RQ2 オープンワールド分類におけるオープンスペースリスク低減の観点から、1対restのシグモイド出力層はソフトマックスに比べてどの程度優れているか？
• RQ3 固定閾値（例：t=0.5）と比較して、ロジットのガウスフィッティングによる拒否閾値選定はどの程度性能向上をもたらすか？
• RQ4 テストドキュメントの75%以上が未学習クラスに属する極端なオープンワールド状況下で、DOCはどの程度の性能を示すか？
• RQ5 DOCはドメインを越えて汎用性を持ち、テキストおよび画像ベースのオープン分類において、最先端手法を上回る性能を発揮できるか？

主な発見

• 20 Newsgroupsデータセットで学習済みクラスが25%の状況において、DOCはマクロ-F1スコア82.3%を達成し、OpenMax（35.7%）とcbsSVM（59.3%）を大きく上回った。
• 25%の学習済みクラスを有する100クラスのレビューデータセットにおいて、DOCはマクロ-F1 61.2%を達成し、OpenMax（41.6%）とcbsSVM（55.7%）を著しく上回った。
• 低ショット設定（25%および50%の学習済みクラス）において、DOCはDOC(t=0.5)を常に上回り、ガウスフィッティングによる閾値の有効性を示した。
• 100%の学習済みクラスが存在する設定（クローズドワールド）においても、DOCは20 Newsgroupsでマクロ-F1 92.6%を達成し、OpenMax（91.9%）とcbsSVM（85.2%）を上回った。
• DOCは複数のデータセットで頑健な性能を示した：最も挑戦的なオープンワールド状況（25%の学習済みクラス）において、OpenMaxを最大27ポイント上回った。
• OpenMaxとは異なり、未学習クラスの検証データを必要としないため、DOCはより実用的でスケーラブルである。