[論文レビュー] EZLearn: Exploiting Organic Supervision in Large-Scale Data Annotation

Maxim Grechkin, Hoifung Poon+1 more|arXiv (Cornell University)|Sep 25, 2017

Genomics and Phylogenetic Studies参考文献 27被引用数 7

ひとこと要約

EZLearnは、語彙と自由記述文を有機的監視情報として活用する共同学習フレームワークを導入し、高価値分野における完全な教師なし、高精度なデータアノテーションを実現する。主分類器と補助NLPシステムを、遠隔監視信号上で同時に学習させることで、手動ラベルが一切不要な状態で最先端の性能を達成し、機能的ゲノム解析や科学的図表理解分野において、数万例のラベル付きデータで学習した教師ありモデルを上回る。

ABSTRACT

Many real-world applications require automated data annotation, such as identifying tissue origins based on gene expressions and classifying images into semantic categories. Annotation classes are often numerous and subject to changes over time, and annotating examples has become the major bottleneck for supervised learning methods. In science and other high-value domains, large repositories of data samples are often available, together with two sources of organic supervision: a lexicon for the annotation classes, and text descriptions that accompany some data samples. Distant supervision has emerged as a promising paradigm for exploiting such indirect supervision by automatically annotating examples where the text description contains a class mention in the lexicon. However, due to linguistic variations and ambiguities, such training data is inherently noisy, which limits the accuracy of this approach. In this paper, we introduce an auxiliary natural language processing system for the text modality, and incorporate co-training to reduce noise and augment signal in distant supervision. Without using any manually labeled data, our EZLearn system learned to accurately annotate data samples in functional genomics and scientific figure comprehension, substantially outperforming state-of-the-art supervised methods trained on tens of thousands of annotated examples.

研究の動機と目的

• 数千もの進化するクラスを有する高価値分野における手動データアノテーションのボトル neck を解消すること。
• 標準化された語彙とデータサンプルに付随する自由記述文という、2つの容易に入手可能な間接的監視情報源を活用すること。
• 手動ラベル例を一切使用せずに、遠隔監視からのノイズを低減し、信号を強化すること。
• 機能的ゲノム解析や科学的図表理解のような分野における、スケーラブルで頑健な自動アノテーション手法の開発

提案手法

• EZLearnは、語彙内のクラス名と自由記述文内の表記を照合することで、遠隔監視を用いてノイズの多い訓練ラベルを生成する。
• 標準的な照合手法が解消できない言語的変異、略語、曖昧な表記を処理するために、補助NLP分類器を導入する。
• 共同学習を採用：主分類器と補助分類器が、相互に新しい例をラベル付けし、誤りを是正することで、反復的にお互いを改善する。
• 画像データの埋め込みは畳み込みニューラルネットワーク（ResNet-50）によって抽出され、テキスト特徴量は語彙ベースの照合とNLP推論から得られる。
• フレームワークはオントロジーの変更を動的に対応可能にし、再訓練なしに細粒度分類をサポートする。
• 相互監視をモダリティ間で活用しながら、収束するまで反復的改善が行われる。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像モダリティからの共同学習と遠隔監視を組み合わせることで、手動ラベルが一切ない状態でも高精度なアノテーションが達成可能か？
• RQ2 タイポ、略語、曖昧な表記といった有機的監視情報のノイズに対して、システムはどの程度頑健か？
• RQ3 遺伝子発現プロファイルや科学的図表など、入力モダリティが著しく異なる分野へ一般化可能か？
• RQ4 EZLearnは、大量のラベル付きデータで学習した教師ありベースラインをどの程度上回るか？

主な発見

• 細粒度図表分類において、EZLearnはAUPRC 0.79を達成し、3,271件のラベル付き例で学習したViziometrics分類器（AUPRC 0.53）を顕著に上回った。
• 図表理解分野では、EZLearnは0.5再現率における92％の精度を達成したのに対し、語彙を活用したベースラインは87％であった。これは、微細な意味的情報を効果的に抽出できることを示している。
• ラベルの摂動に対してシステムは頑健であり、初期ラベルの80％以上がランダムに置き換えられるまでは性能が著しく低下しなかった。
• 機能的ゲノム解析分野において、EZLearnは数万件のラベル付きデータで学習した最先端の教師あり手法を、手動アノテーションを一切使用せずに上回った。
• 共同学習メカニズムにより、ノイズが低減され、信号が拡張され、記述に非標準的または曖昧な表記が含まれても、正確な分類が可能になった。