[論文レビュー] Improved Training for Self-Training.

Gal Hyams, Daniel Greenfeld+1 more|arXiv (Cornell University)|Sep 30, 2017

Machine Learning and Data Classification被引用数 2

ひとこと要約

本論文では、限られたラベル付きデータでモデル性能を向上させるために、反復的に未ラベルデータからの高信頼度予測をラベルづける自己学習手法を提案する。MNISTおよびADE20Kに適用したところ、オンライン学習中に信頼度の高い予測を仮ラベルとして扱うことで、画像分類および半教師ありセマンティックセグメンテーションの両方で精度が向上した。

ABSTRACT

It is well known that for some tasks, labeled data sets may be hard to gather. Therefore, we wished to tackle here the problem of having insufficient training data. We examined learning methods from unlabeled data after an initial training on a limited labeled data set. The suggested approach can be used as an online learning method on the unlabeled test set. In the general classification task, whenever we predict a label with high enough confidence, we treat it as a true label and train the data accordingly. For the semantic segmentation task, a classic example for an expensive data labeling process, we do so pixel-wise. Our suggested approaches were applied on the MNIST data-set as a proof of concept for a vision classification task and on the ADE20K data-set in order to tackle the semi-supervised semantic segmentation problem.

研究の動機と目的

• セマンティックセグメンテーションのような高コストなアノテーションを伴うタスクにおいて、ラベル付き学習データが不足する課題に対処すること。
• 初期に小さなラベル付きデータセットで学習した後、未ラベルデータを効果的に活用する手法を開発すること。
• 高信頼度予測を用いて未ラベルデータを反復的にラベルづけ、再学習することでオンライン学習を可能にすること。
• 本手法の有効性を、画像分類（MNIST）およびセマンティックセグメンテーション（ADE20K）の両タスクで示すこと。

提案手法

• 小さなラベル付きデータセットで初期モデルを学習し、未ラベルデータに対する予測を生成する。
• 事前に定めたしきい値を超える信頼度の予測を選別し、これらを仮ラベルとして扱う。
• 元のラベル付きデータと新たに仮ラベルづけされたデータの両方を用いて、オンライン形式でモデルを再学習する。
• セマンティックセグメンテーションではピクセル単位で適用し、各ピクセルの予測の信頼度を評価した上で仮ラベルとして使用する。
• 反復的精錬を実施：複数回にわたりモデルを再学習し、そのたびに新たに仮ラベルづけされたデータを統合する。
• 一般化を検証するため、分類（MNIST）および密度予測（ADE20K）の両タスクに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、高信頼度の仮ラベルを用いた自己学習はモデル性能を向上させ得るか？
• RQ2 高コストなアノテーションを伴うセマンティックセグメンテーションというタスクにおいて、本手法は半教師あり設定で効果的か？
• RQ3 オンラインで反復的再学習を行う戦略は、異なるタスクにおいて一貫した性能向上をもたらすか？
• RQ4 本手法は、単純な分類タスク（MNIST）から、複雑な密度予測タスク（ADE20K）へと、最小限の変更で一般化可能か？

主な発見

• 本手法は、小さな初期ラベル付きデータセットと未ラベルデータを用いて、反復的仮ラベルづけによりMNISTでの性能向上を達成した。
• ADE20Kデータセットでは、高信頼度のピクセル単位の予測を活用することで、半教師ありセマンティックセグメンテーションで競争力のある結果を得た。
• 反復的再学習プロセスにより、ベースラインの自己学習手法よりも一貫した性能向上が得られた。
• 本手法はオンライン学習として有効であり、未ラベルのテストデータに対する継続的適応を可能にした。
• 本手法は、画像分類から密度予測タスクへの一般化が強く、最小限のアーキテクチャ変更で実現した。
• 高信頼度の予測は、仮ラベルとして十分に信頼でき、人為的アノテーションを最小限に抑えつつ、モデル精度を顕著に向上させた。