[論文レビュー] AFT*: Integrating Active Learning and Transfer Learning to Reduce Annotation Efforts

Zongwei Zhou, J. Shin+3 more|arXiv (Cornell University)|Feb 3, 2018

COVID-19 diagnosis using AI被引用数 7

ひとこと要約

AFT* は、生体医療画像解析におけるアノテーションコストを低減するために、アクティブラーニングとトランスファーラーニングを統合した包括的なフレームワークを提案する。反復的に情報量の多いサンプルを選択し、事前学習済みのCNNを継続的に微調整することで、3つの生体医療画像アプリケーションにおいて、最先端の手法と比較してアノテーション作業を50%以上削減する。

ABSTRACT

The splendid success of convolutional neural networks (CNNs) in computer vision is largely attributed to the availability of large annotated datasets, such as ImageNet and Places. However, in biomedical imaging, it is very challenging to create such large annotated datasets, as annotating biomedical images is not only tedious, laborious, and time consuming, but also demanding of costly, specialty-oriented skills, which are not easily accessible. To dramatically reduce annotation cost, this paper presents a novel method to naturally integrate active learning and transfer learning (fine-tuning) into a single framework, called AFT*, which starts directly with a pre-trained CNN to seek worthy samples for annotation and gradually enhance the (fine-tuned) CNN via continuous fine-tuning. We have evaluated our method in three distinct biomedical imaging applications, demonstrating that it can cut the annotation cost by at least half, in comparison with the state-of-the-art method. This performance is attributed to the several advantages derived from the advanced active, continuous learning capability of our method. Although AFT* was initially conceived in the context of computer-aided diagnosis in biomedical imaging, it is generic and applicable to many tasks in computer vision and image analysis; we illustrate the key ideas behind AFT* with the Places database for scene interpretation in natural images.

研究の動機と目的

• 大規模なデータセットの作成を妨げる、生体医療画像のアノテーションにかかる高コストと専門知識の要請に対処すること。
• アクティブラーニングとトランスファーラーニングを別々のプロセスとして扱う既存手法の限界を克服すること。
• 選択的アノテーションと微調整を通じて、CNNの反復的・継続的改善を可能にする統一されたフレームワークを開発すること。
• 本手法の汎用性と有効性を、生体医療画像を越えて自然画像のシーン認識など、他のコンピュータビジョンタスクにも拡張可能であることを示すこと。

提案手法

• 生体医療画像タスクのためのモデル初期化に、事前学習済みの畳み込みニューラルネットワーク（CNN）を用いる。
• 人間によるアノテーションの対象として最も情報量の高いサンプルを特定・優先順位付けするためにアクティブラーニングを採用する。
• 各アノテーションバッチの後、CNNを継続的に微調整することで、段階的にモデル性能を向上させる。
• サンプル選択における探索と活用のバランスを取るために、不確実性サンプリングと多様性ベース選択を知的に統合する。
• 新しい選択済みデータに対して事前学習済みネットワークを微調整することで、ターゲットの生体医療ドメインに適応させるトランスファーラーニングを活用する。
• 反復的でデータ効率の高い学習を通じて、必要なアノテーション数を最小限に抑えながらモデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングとトランスファーラーニングを統合した包括的フレームワークは、生体医療画像解析におけるアノテーションコストを顕著に低減できるか？
• RQ2 各アノテーションバッチの後で継続的微調整を実施することで、静的微調整と比較してモデル性能がどのように向上するか？
• RQ3 AFT* は、必要なアノテーション数を最小限に抑える点で、最先端の手法をどの程度上回るか？
• RQ4 提案手法は、生体医療画像を越えて他のコンピュータビジョンタスクにも汎用的に適用可能か？
• RQ5 サンプル選択における不確実性と多様性の統合が、モデル収束とアノテーション効率に与える影響はいかほどか？

主な発見

• AFT* は、3つの異なる生体医療画像アプリケーションにおいて、最先端の手法と比較して、アノテーションコストを50%以上削減する。
• 継続的微調整メカニズムにより、少ないアノテート済みサンプルでより速い収束と向上した性能が達成される。
• アクティブラーニングとトランスファーラーニングの統合により、より効率的なサンプル選択と優れたモデル一般化性能が実現される。
• 本手法は、生体医療画像認識にとどまらず、Placesデータベースを用いた自然画像のシーン認識においても強力な性能を示す。
• 高価値のサンプルを反復的にモデルに反映させることで、アノテーション効率に顕著な向上が得られる。
• 本手法は、必要なアノテーション数を著しく削減しながらも高いモデル精度を維持できることから、データが限られた環境でも有効であることが実証された。