[論文レビュー] Adaloss: Adaptive Loss Function for Landmark Localization

Brian Teixeira, Birgi Tamersoy+2 more|arXiv (Cornell University)|Aug 2, 2019

Face recognition and analysis参考文献 31被引用数 7

ひとこと要約

Adalossは、トレーニング中にターゲットヒートマップの分散を動的に調整することで、サンプルバイアスと局所化精度のバランスを取る、アプリケーションに依存しない新しい適応型損失関数である。トレーニング統計に基づいて徐々にターゲット分散を低減することで、ランドマーク局所化のための深層ネットワークの安定的かつエンドツーエンドのトレーニングを可能にし、医療X線、内 endoscopic、および屋外顔画像のタスクで最先端の性能を達成した。

ABSTRACT

Landmark localization is a challenging problem in computer vision with a multitude of applications. Recent deep learning based methods have shown improved results by regressing likelihood maps instead of regressing the coordinates directly. However, setting the precision of these regression targets during the training is a cumbersome process since it creates a trade-off between trainability vs localization accuracy. Using precise targets introduces a significant sampling bias and hence makes the training more difficult, whereas using imprecise targets results in inaccurate landmark detectors. In this paper, we introduce "Adaloss", an objective function that adapts itself during the training by updating the target precision based on the training statistics. This approach does not require setting problem-specific parameters and shows improved stability in training and better localization accuracy during inference. We demonstrate the effectiveness of our proposed method in three different applications of landmark localization: 1) the challenging task of precisely detecting catheter tips in medical X-ray images, 2) localizing surgical instruments in endoscopic images, and 3) localizing facial features on in-the-wild images where we show state-of-the-art results on the 300-W benchmark dataset.

研究の動機と目的

• スパarsely、高精度なヒートマップが原因でサンプルバイアスと収束性の悪化を引き起こすランドマーク局所化のための深層ネットワークのトレーニングの課題に対処すること。
• 損失関数におけるヒートマップ分散の手動によるアプリケーション固有のハイパーパrameterチューニングの必要性を排除すること。
• 適応型損失スケジューリングを通じて暗黙的にカリキュラムを構築することで、トレーニングの安定性と推論の正確性を向上させること。
• 最小限のアーキテクチャ的・ハイパーパrameter的変更で、多様なドメインにわたるランドマーク検出器のロバストでエンドツーエンドのトレーニングを可能にすること。
• 300-W、EndoVis、X線カテーテル先端検出を含むランドマーク局所化ベンチマークで最先端の性能を達成すること。

提案手法

• Adalossは、ランドマーク固有のトレーニング統計に基づいて、トレーニング中にガウスターゲットヒートマップの分散を動的に調整する。
• トレーニングの初期段階では高い分散を持つヒートマップで開始し、トレーニングが進むにつれて徐々に分散を低減する。
• 時間経過とともに問題の難易度を段階的に高めるカリキュラム学習戦略を用いることで、ネットワークの安定性を向上させる。
• ネットワークアーキテクチャや最適化ハイパーパrameterの変更なしに、既存のトレーニングパイプラインにスムーズに統合できる。
• ランドマークタイプごとの予測誤差の移動平均を用いて、適応的分散の更新を計算する。
• 後処理として、複数のインスタンスを処理し、ピーク位置をクラスタリングするために中央値フィルタリングと非最大抑制を実施する。

実験結果

リサーチクエスチョン

• RQ1 適応型損失関数は、極めてスパarselyなターゲットヒートマップを用いたランドマーク局所化のトレーニング安定性と収束性を向上させることができるか？
• RQ2 トレーニング中にヒートマップ分散を動的に調整することで、初期学習率やハイパーパラメータチューニングへの感受性が低下するか？
• RQ3 1つのアプリケーションに依存しない損失関数が、多様なランドマーク局所化タスクで最先端の性能を達成できるか？
• RQ4 高いアノテーション不確実性やスパarselyなアノテーションを有するデータセットにおいて、適応型損失はどのように性能を発揮するか？
• RQ5 推論時に未知のツールタイプやランドマーク構成に対して、この手法はどの程度一般化可能か？

主な発見

• 屋外顔ランドマーク局所化のための300-Wベンチマークにおいて、Adalossは最先端の性能を達成し、先行手法を上回った。
• X線画像におけるカテーテル先端検出において、Adalossは最小限のハイパーパラメータチューニングで高い精度と正確性を達成し、臨床応用に適していた。
• EndoVisデータセットにおいて、Adalossはニードルドライバーの左クランプ検出で95.56％のリCALLと90.50％の精度を達成し、マルチステージベースラインの86.65％の精度と86.28％のリCALLを上回った。
• トレーニングに含まれないニードルドライバーと曲がったスコップを含む画像でも、Adalossは平均92.16％の精度を維持し、優れた一般化能力と識別能力を示した。
• トレーニングの不安定性と収束時間を低減し、高い初期学習率でもロバスト性が向上した。
• Adalossは、EndoVisテストセット全体で平均6.83ピクセルのユークリッド距離を達成し、複雑なシーンにおいても高い局所化正確性を示した。