[論文レビュー] Semi-supervised Active Learning for Instance Segmentation via Scoring Predictions

Jun Wang, Shaoguo Wen+6 more|arXiv (Cornell University)|Dec 9, 2020

Machine Learning and Algorithms参考文献 33被引用数 12

ひとこと要約

本論文は、分類、バウンディングボックス、マスクの各ブランチにおける不確実性を統合的に評価するためのトリプレットスコアリング予測（TSP）を用いた、インスタンスセグメンテーションのための新規な半教師付きアクティブラーニングフレームワークを提案する。TSPを段階的な疑似ラベル化戦略と不均衡損失関数で統合することで、ノイズを低減し、医療画像データセットにおいて顕著に低いラベルコストで最先端の性能を達成した。

ABSTRACT

Active learning generally involves querying the most representative samples for human labeling, which has been widely studied in many fields such as image classification and object detection. However, its potential has not been explored in the more complex instance segmentation task that usually has relatively higher annotation cost. In this paper, we propose a novel and principled semi-supervised active learning framework for instance segmentation. Specifically, we present an uncertainty sampling strategy named Triplet Scoring Predictions (TSP) to explicitly incorporate samples ranking clues from classes, bounding boxes and masks. Moreover, we devise a progressive pseudo labeling regime using the above TSP in semi-supervised manner, it can leverage both the labeled and unlabeled data to minimize labeling effort while maximize performance of instance segmentation. Results on medical images datasets demonstrate that the proposed method results in the embodiment of knowledge from available data in a meaningful way. The extensive quantitatively and qualitatively experiments show that, our method can yield the best-performing model with notable less annotation costs, compared with state-of-the-arts.

研究の動機と目的

• インスタンスセグメンテーションにおける高いラベルコストを低減するため、人為的ラベルデータへの依存度を減らすことを目的とする。
• 分類、バウンディングボックス、マスクの不確実性を統合的に考慮する、インスタンスセグメンテーションに特化した整合的なアクティブラーニング戦略の開発を目的とする。
• 半教師付きラーニングとアクティブラーニングを統合し、未ラベルデータを効果的に活用するとともに、疑似ラベルからのノイズを低減することを目的とする。
• 大規模な医療画像データセットを用いて本手法の有効性を検証し、ラベル効率性と耐障害性を示すこと。
• 不確実性サンプリングと適応的疑似ラベル化を組み合わせることで、インスタンスセグメンテーションにおけるアクティブラーニングの新しいベンチマークを確立すること。

提案手法

• 分類、バウンディングボックス、マスク予測スコアを統合した不確実性測度として、分類、バウンディングボックス、マスク予測スコアを統合する新規な不確実性サンプリング戦略「トリプレットスコアリング予測（TSP）」を提案する。
• モデルの信頼度に基づいて段階的に更新される疑似ラベル化のためのレジームを設計し、TSPスコアを用いて高品質な未ラベルデータを優先的に処理する。
• ハイパーパrameter β を用いて、教師あり学習と疑似ラベル学習のトレードオフを制御するバランスの取れた損失関数を導入し、低信頼度の疑似ラベルによるノイズを最小限に抑える。
• マスクR-CNNに基づくアーキテクチャを採用し、インスタンスレベルの予測を生成することで、選択的サンプリングに適した個々のインスタンスの不確実性スコアを可能にする。
• 反復的なアクティブラーニングサイクルを適用：TSPにより不確実性が最も高いインスタンスをクエリし、人為的ラベルを取得し、ラベル付きデータと疑似ラベル付きデータの両方で再訓練する。
• アクティブラーニングの反復回数が増加するに従い、動的にβのスケジューリングを行うことで、時間の経過とともにノイズの影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 分類、バウンディングボックス、マスク予測を統合した統一された不確実性スコアリング機構は、インスタンスセグメンテーションにおけるアクティブラーニング性能を向上させ得るか？
• RQ2 アクティブラーニングと半教師付き疑似ラベル化を組み合わせることで、インスタンスセグメンテーションにおけるモデル性能とラベル効率性にどのような影響を与えるか？
• RQ3 トリプレットスコアリングの各構成要素（分類、ボックス、マスク）が、モデル性能と不確実性推定に与える影響は何か？
• RQ4 バランスの取れた損失関数を用いた段階的疑似ラベル化は、標準的な疑似ラベル化と比較してノイズを低減し、一般化性能を向上させるか？
• RQ5 高コストなインスタンスセグメンテーションタスクにおいて、画像レベルのサンプリングと比較してインスタンスレベルのサンプリングはより効果的か？

主な発見

• 提案手法は、既存のアクティブラーニング手法と比較して、ラベル数を最大30％削減した状態で、インスタンスセグメンテーションベンチマークで最先端の性能を達成した。
• アブレーションスタディの結果、トリプレットスコアリング部がランダムサンプリングや分類エントロピーに基づく不確実性よりも顕著に優れており、分類、ボックス、マスクの3つのブランチを併用した場合に最高の性能を示した。
• TSPにマスクスコアブランチを組み込むことで最も顕著な性能向上が得られ、次いでボックススコア、分類スコアの順に寄与度が高かった。これは、マスクレベルの不確実性が選択に最も有用であることを示している。
• 損失関数の最適なβ値は0.01であり、これにより疑似ラベルからのノイズが低減され、より高い一般化性能が得られた。0.05や0.09などの高い値よりも優れた性能を示した。
• アクティブラーニングと半教師付きラーニングを統合することで、異なる医療画像データセットにおいて一貫した向上を示し、優れた耐障害性と再現性を示した。
• 可視化結果から、本手法は不確実性が低い（スコアが低い）難易度の高い例（ハード例）と、不確実性が高い（スコアが高い、ほぼ正確な）例（イージー例）を効果的に特定できており、意味のあるサンプリングと信頼性の高い疑似ラベル化を可能にした。