[論文レビュー] Reinforced active learning for image segmentation

Arantxa Casanova, Pedro O. Pinheiro+2 more|arXiv (Cornell University)|Feb 16, 2020

Machine Learning and Algorithms参考文献 51被引用数 24

ひとこと要約

本稿では、画像全体ではなく情報量の多い画像領域をラベリング対象とする深層強化学習ベースのアクティブラーニング手法を提案する。DQNフレームワークを変更し、不確実性が高く、未十分に代表されているクラスの領域を優先することで、Cityscapesにおいてベースラインと比較してラベル付きデータを約30%削減しつつ、レアクラスの性能向上を実現した。

ABSTRACT

Learning-based approaches for semantic segmentation have two inherent challenges. First, acquiring pixel-wise labels is expensive and time-consuming. Second, realistic segmentation datasets are highly unbalanced: some categories are much more abundant than others, biasing the performance to the most represented ones. In this paper, we are interested in focusing human labelling effort on a small subset of a larger pool of data, minimizing this effort while maximizing performance of a segmentation model on a hold-out set. We present a new active learning strategy for semantic segmentation based on deep reinforcement learning (RL). An agent learns a policy to select a subset of small informative image regions -- opposed to entire images -- to be labeled, from a pool of unlabeled data. The region selection decision is made based on predictions and uncertainties of the segmentation model being trained. Our method proposes a new modification of the deep Q-network (DQN) formulation for active learning, adapting it to the large-scale nature of semantic segmentation problems. We test the proof of concept in CamVid and provide results in the large-scale dataset Cityscapes. On Cityscapes, our deep RL region-based DQN approach requires roughly 30% less additional labeled data than our most competitive baseline to reach the same performance. Moreover, we find that our method asks for more labels of under-represented categories compared to the baselines, improving their performance and helping to mitigate class imbalance.

研究の動機と目的

• 画像分類におけるピクセル単位のアノテーションにかかる高コストと時間の問題を解決すること。
• ラベル付けの重点を未十分に代表されているカテゴリに集中させることで、分類データセットにおけるクラス不均衡を軽減すること。
• 画像全体ではなく、小さな情報量の多い画像領域を選択する効率的なアクティブラーニング戦略の開発。
• 最小限のラベル付きデータで、Mean Intersection over Union (mIoU) を直接最適化することにより、モデル性能を向上させること。
• 大規模な分類タスクにスケーラブルな、変更を加えたDQNを用いたバッチモードのアクティブラーニングアプローチの設計。

提案手法

• エージェントがモデルの予測と不確実性に基づいてラベリング対象の画像領域を選択するように、アクティブラーニングをマルコフ決定過程として定式化する。
• 大規模な分類処理に対応するため、クラスに依存する状態と行動表現を用いて、深層Qネットワーク（DQN）アーキテクチャを変更する。
• 状態を、分類モデルの予測から得られる画像領域の特徴埋め込みとして定義し、不確実性とクラス分布を捉える。
• ラベル付けされた領域の後に検証セットにおけるmIoUの向上に基づく報酬関数を設計し、分類性能を直接最適化する。
• 1ステップあたり複数の領域を同時に選択するバッチモード学習戦略を実装し、サンプル効率を向上させ、訓練ステップ数を削減する。
• 訓練の安定化のため、優先順位付き経験再生とターゲットネットワークを用い、標準DQNのコンponentsを領域ベースのアクティブラーニング設定に適応する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、画像分類における最も情報量の多い画像領域を効果的に選択する能力を有しているか？
• RQ2 領域ベースのアクティブラーニングアプローチは、画像全体をラベリング対象とするベースラインと比較して、目標mIoUに到達するためのラベル付きピクセル数を削減できるか？
• RQ3 RLベースの手法は、データ収集段階で未十分に代表されているクラスを自動的に優先できるか、クラス不均衡を緩和できるか？
• RQ4 提案手法の性能は、異なる予算サイズやデータセット、特にCityscapesのような大規模な設定においてどのようにスケーリングされるか？
• RQ5 バッチモードのDQNベースのアクティブラーニング戦略は、ラベル付けイテレーションごとのネットワーク更新回数を削減しながらも、高い効率性と性能を維持できるか？

主な発見

• Cityscapesデータセットにおいて、提案手法は全ピクセルの6%（20,000領域）をラベル付けするだけでmIoU 64.5%を達成し、全ラベルが利用可能なモデルの96%の性能に到達した。
• 同じmIoU性能を達成するため、次善のベースライン（H）は30%以上の追加ラベル付きデータを必要とし、これは追加で45枚の画像に相当するため、顕著なデータ効率の向上が示された。
• 「person」、「bicycle」、「motorcycle」などの未十分に代表されているクラスにおいて、提案手法は63.32%のmIoUを達成したのに対し、ベースラインHは62.29%であった。
• 選択された領域は、クラス分布のエントロピーが高くなっており（一様に近づき）、特にレアクラスにおいてよりバランスの取れたラベリングが実現していることが示された。
• CamVidおよびCityscapesの両データセットにおいて、すべての予算レベルで提案手法はすべてのベースラインを上回り、特に低データ予算時においてmIoUで統計的に有意な向上を示した。
• 画像全体ではなく小さな領域をラベリングすることで、性能が向上し、ばらつきが低くなることが、付録E.2のアブレーションスタディで示された。これは、より細分化された不確実性推定によるものである。