[論文レビュー] Learning From How Humans Correct

Tong Guo|arXiv (Cornell University)|Jan 30, 2021

Machine Learning and Data Classification被引用数 14

ひとこと要約

本論文は、BERTベースのテキスト分類モデルに人間の訂正フィードバックを統合することで精度を向上させる、新しい学習フレームワークを提案する。モデルの予測を通じてノイズの多いラベルを特定し、手作業で再ラベル付けした後、真のラベルとモデルの過去の予測を入力として新たなモデルを訓練することで、92.5%のテスト精度を達成。これは再ラベル付けされたデータでの91.7%、元のノイズのあるデータでの83.3%から向上した結果であり、人間による訂正から学ぶことでモデルの頑健性が向上することを示している。

ABSTRACT

In industry NLP application, our manually labeled data has a certain number of noisy data. We present a simple method to find the noisy data and relabel them manually, meanwhile we collect the correction information. Then we present novel method to incorporate the human correction information into deep learning model. Human know how to correct noisy data. So the correction information can be inject into deep learning model. We do the experiment on our own text classification dataset, which is manually labeled, because we need to relabel the noisy data in our dataset for our industry application. The experiment result shows that our learn-on-correction method improve the classification accuracy from 91.7% to 92.5% in test dataset. The 91.7% accuracy is trained on the corrected dataset, which improve the baseline from 83.3% to 91.7% in test dataset. The accuracy under human evaluation achieves more than 97%.

研究の動機と目的

• 産業的アノテーションによるNLPデータセットにおけるノイズの多いラベルを是正し、モデル性能の低下を是正すること。
• モデルの予測をシグナルとして用いて、ノイズのあるデータを特定・再ラベル付けする実用的な手法を開発すること。
• 元のラベルと予測ラベルの両方を入力として学習させることで、人間の訂正行動を深層学習モデルに組み込むこと。
• 単に後でラベルを訂正するのではなく、人間が誤りを訂正するプロセスをモデル化することで、テキスト分類の精度を向上させること。
• 手作業でラベル付けされたデータを有する他の深層学習応用に一般化可能なフレームワークを構築すること。

提案手法

• 本手法は、204万件のサンプルからなる手作業ラベル付け済みデータセット上でBERTモデル（Model-A）を訓練することから始める。データは200万件の学習データと4万件のテストデータに分割される。
• ノイズのあるデータは、Model-Aの予測結果と元の人のラベルが一致しないサンプルとして特定され、合計30万件（学習データに29万4千件、テストデータに5,900件）にのぼる。
• これらの30万件のサンプルは手作業で再ラベル付けされ、人間が検証済みのラベルを持つ修正済みデータセットが作成される。
• 新しいモデル（Model-C）は、修正済みラベルと、Model-Aのワンホットエンコードされた予測結果を追加の入力特徴として用いて訓練される。
• Model-Cの入力表現には、元のテキスト、修正済みラベル、およびModel-Aの過去の予測が含まれており、これによりモデルは訂正のパターンを学習できる。
• 本フレームワークは実世界での導入を想定しており、推論時に事前に修正済みラベルに依存しないように設計されており、入力にはModel-Aの予測結果のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルに人間による訂正フィードバックを統合することで、テキスト分類の精度が向上するか？
• RQ2 修正済みデータに対する通常のファインチューニングと比較して、人間による訂正から学ぶ方法はどのように異なるか？
• RQ3 元のラベルと予測ラベルの両方を入力として学習させることで、モデルは自らの誤りを訂正できるようになるか？
• RQ4 モデルの予測ラベルを補助入力として含めることで、ノイズの多いデータセットにおける一般化性能が向上するか？
• RQ5 本手法は、手作業でラベル付けされたデータを有する他の深層学習応用に一般化可能か？

主な発見

• 提案手法により、ノイズのあるデータを用いたベースラインの83.3%から、再ラベル付けとファインチューニングを経て91.7%のテスト精度に向上した。これは訂正の価値を示している。
• さらに、訂正に配慮したフレームワーク（Model-C）で学習を継続した結果、同じテストセットで92.5%の精度に到達した。これは、訂正の学習による段階的向上を示している。
• 全5億件のデータセットからランダムに抽出した5,000件のサンプルについての人間評価では97.7%の正確性が得られ、高品質なラベル付けとモデルの性能を示している。
• Model-Cは人間の訂正行動から学習できており、過去のモデルの誤りに基づいて予測を調整する能力を習得していることが確認された。
• 推論時に事前に修正済みラベルに依存しないため、産業用途において実用的である。入力にはモデルの予測結果のみを用いる。
• 本手法は、ラベルノイズが懸念される他の深層学習タスクに対しても一般化可能であり、特に手作業でラベル付けされたデータを有する応用に適している。