[論文レビュー] Mitigating Uncertainty in Document Classification

Xuchao Zhang, Fanglan Chen+2 more|arXiv (Cornell University)|Jul 17, 2019

Anomaly Detection Techniques and Applications参考文献 34被引用数 5

ひとこと要約

本論文では、限られた人間の専門家が予測の不確実性をレビューする状況において、文書分類の精度を向上させるためにドロップアウト・エントロピー不確実性推定とメトリクス学習を組み合わせた深層ニューラルネットワークモデルを提案する。学習された特徴空間におけるクラスタリングによって予測の分散を低減することで、20NewsGroupデータセットにおいて予測の30%が人間によるレビューを受けた際、マクロ-F1が0.78から0.92に向上した。

ABSTRACT

The uncertainty measurement of classifiers' predictions is especially important in applications such as medical diagnoses that need to ensure limited human resources can focus on the most uncertain predictions returned by machine learning models. However, few existing uncertainty models attempt to improve overall prediction accuracy where human resources are involved in the text classification task. In this paper, we propose a novel neural-network-based model that applies a new dropout-entropy method for uncertainty measurement. We also design a metric learning method on feature representations, which can boost the performance of dropout-based uncertainty methods with smaller prediction variance in accurate prediction trials. Extensive experiments on real-world data sets demonstrate that our method can achieve a considerable improvement in overall prediction accuracy compared to existing approaches. In particular, our model improved the accuracy from 0.78 to 0.92 when 30\% of the most uncertain predictions were handed over to human experts in "20NewsGroup" data.

研究の動機と目的

• 人間の専門家が不確実な予測のみをレビューできる限られた状況において、テキスト分類の全体的な予測精度を向上させる挑戦に取り組むこと。
• 単に不確実性の定量化に注目するのではなく、不確実性が最も高い予測を人間レビューの優先順位に置く信頼性の高い不確実性推定手法を開発すること。
• メトリクス学習を通じてより良い特徴表現を学習することで、モデル予測の頑健性と信頼性を高めること。
• 離散的テキストデータを適切に処理できない、または勾配に基づく敵対的訓練に依存する従来手法の限界を克服すること。
• 不確実性に配慮した深層学習と人間が関与するワークフローを統合することで、スケーラブルで正確な文書分類を実現すること。

提案手法

• ドロップアウトのベイジアン近似性を活用し、複数回の順方向伝搬における出力のエントロピーを用いて、ドロップアウト・エントロピー法によるモデルの不確実性推定を導入する。
• 予測の分散を低減するため、特徴表現空間において類似クラス内距離を最小化し、異なるクラス間距離を最大化するようにメトリクス学習を適用する。
• 不確実性推定の安定性と信頼性を向上させるために、ドロップアウト推論中にデノイジングマスク操作を導入する。
• 不確実性推定をエンドツーエンドの学習に統合し、バックプロパゲーション中に不確実性を考慮した損失最適化を可能にする。
• 一般化性能と不確実性のキャリブレーションを向上させるために、マージンに基づくメトリクス学習目的関数とクロスエントロピー損失を併用して学習を行う。
• t-SNE可視化を用いて、メトリクス学習が埋め込み空間におけるクラス間分離性を向上させたことを定性的に検証した。

実験結果

リサーチクエスチョン

• RQ1 人間の専門家が最も不確実な予測のサブセットのみをレビューする状況において、ドロップアウト・エントロピー不確実性推定を備えた深層学習モデルが、全体の分類精度を向上させることができるか？
• RQ2 特徴表現空間におけるメトリクス学習が、テキスト分類における不確実性推定の分散と信頼性にどのように影響を与えるか？
• RQ3 少数の予測が人間レビューを受けた場合、特にF1スコアの観点から、本手法が従来の不確実性推定技術を上回るか？
• RQ4 メトリクスのマージンや単語埋め込みの初期化といったハイパーパrameterの変更に、性能がどれほど敏感か？
• RQ5 事前学習済み単語埋め込み（例：GloVe）が、不確実性推定およびメトリクス学習の有効性をどれほど向上させるか？

主な発見

• 20NewsGroupデータセットにおいて、予測の30%が人間の専門家によってレビューされた際、提案手法DE+メトリクスはマクロ-F1を0.78から0.92に向上させた。
• ベースラインのドロップアウト手法と比較して、30%の不確実性比においてマイクロ-F1が5%向上（0.851から0.892）を達成した。
• メトリクス学習は、あらゆる不確実性比において一貫して性能向上をもたらし、特に多クラス設定で最大の向上が観察された。
• メトリクスマージン値が10までであればモデルの性能は頑健であったが、マージンが10を超えた際には性能が低下した。
• GloVeベースの単語埋め込みは、20%の不確実性比において、ランダム初期化と比較してF1スコアを0.29向上させたのに対し、ランダム初期化では僅か0.04の向上にとどまった。
• t-SNE可視化により、メトリクス学習が特徴空間におけるクラス間距離を顕著に拡大し、正確な予測における不確実性分散を低減していることが確認された。