[論文レビュー] Beyond the Pixel-Wise Loss for Topology-Aware Delineation

Agata Mosinska, Pablo Márquez-Neila+2 more|arXiv (Cornell University)|Dec 6, 2017

Cell Image Analysis Techniques参考文献 23被引用数 17

ひとこと要約

本稿では、道路やニューロン膜などの曲線的構造の深層学習ベースの区画化を改善するため、トポロジーに配慮した損失関数と反復的リファインメントパイプラインを提案する。事前学習済みのVGG19から得られる高レベル特徴を用いて予測値と正例との間のトポロジー的一致性を測定し、パラメータ共有による反復的リファインメントを適用することで、標準的なピクセル単位の学習に比べて分類精度を最大30ポイント向上させる。

ABSTRACT

Delineation of curvilinear structures is an important problem in Computer Vision with multiple practical applications. With the advent of Deep Learning, many current approaches on automatic delineation have focused on finding more powerful deep architectures, but have continued using the habitual pixel-wise losses such as binary cross-entropy. In this paper we claim that pixel-wise losses alone are unsuitable for this problem because of their inability to reflect the topological impact of mistakes in the final prediction. We propose a new loss term that is aware of the higher-order topological features of linear structures. We also introduce a refinement pipeline that iteratively applies the same model over the previous delineation to refine the predictions at each step while keeping the number of parameters and the complexity of the model constant. When combined with the standard pixel-wise loss, both our new loss term and our iterative refinement boost the quality of the predicted delineations, in some cases almost doubling the accuracy as compared to the same classifier trained with the binary cross-entropy alone. We show that our approach outperforms state-of-the-art methods on a wide range of data, from microscopy to aerial images.

研究の動機と目的

• ピクセル単位の損失が、ギャップや分岐といったトポロジー的誤りを考慮しないという、曲線的構造の区画化における深層学習の限界を是正する。
• 訓練目的に高階のトポロジー的制約を組み込むことで、セグメンテーション品質を向上させる。
• モデルの複雑さを増さずに、パラメータ効率の良い反復的リファインメントパイプラインを開発する。
• 顕微鏡画像、航空画像、道路画像を含む多様なデータセットで最先端の性能を示す。
• トポロジーに配慮したアプローチが、ノイズが多いまたは複雑な画像条件下でも、より構造的で正確かつ頑健な予測をもたらすことを示す。

提案手法

• 事前学習済みのVGG19ネットワークから得られる高レベル特徴マップを用いて、予測値と正例との間のトポロジー的類似性を評価するトポロジーに配慮した損失項を提案する。
• VGG19の最初の3つの畳み込みブロックからの特徴マップを用い、線形パターンに対する構造的感受性を捉え、トポロジー的一致性の欠如を検出可能にする。
• 同じ訓練済みモデルを自身の予測に繰り返し適用する反復的リファインメントパイプラインを設計し、ギャップを段階的に埋め、トポロジーを精錬する。
• すべてのリファインメント段階で重みを共有することで、複数の反復ステップがあってもモデルの複雑さとパラメータ数を一定に保つ。
• 訓練中に新しいトポロジー損失を標準的なバイナリクロスエントロピー損失と組み合わせ、ピクセル精度とトポロジー的正しさの両方を同時に最適化する。
• U-NetおよびVGGベースのアーキテクチャにエンドツーエンドで適用し、異なるネットワーク設計およびデータモダリティにわたる一般化を示す。

実験結果

リサーチクエスチョン

• RQ1 曲線的構造のトポロジー的性質を明示的に符号化した損失関数が、ピクセル単位の監視を超えてセグメンテーション性能を向上させるか？
• RQ2 共有されたモデルアーキテクチャを用いた反復的リファインメントが、予測された線形構造の品質およびトポロジー的忠実度に与える影響はいかほどか？
• RQ3 本手法が、ひびわれ、道路、電子顕微鏡画像を含む多様なデータセットで最先端の手法をどの程度上回るか？
• RQ4 トポロジー的監視の統合が、構造の連続性や接続性に敏感な指標に顕著な改善をもたらすか？
• RQ5 特にデータが限られたバイオメディカルな設定において、アーキテクチャの変更や追加パラメータなしに、本手法が効果的に適用可能か？

主な発見

• 提案されたトポロジーに配慮した損失関数のみを用いても、標準的なバイナリクロスエントロピー学習に比べて、分類精度が最大30ポイント向上した。
• 反復的リファインメントと組み合わせた場合、ISBI EMチャレンジにおいてフォアグラウンド制限付きランダムスコア0.981を達成し、単一分類器手法の中で1位となった。
• EMデータセットでは、本手法が67.0%の正しく検出されたパスを達成し、U-Net（51.5%）およびReg-AC（36.1%）を上回るトポロジー的正確性を示した。
• 道路データセットでは、反復的リファインメントにより、非妥当パスの割合を32.3%（OURS-NoRef）から24.2%に低下させ、構造的一致性が向上したことを示した。
• 本手法は、神経膜内のミトコンドリアなどの背景領域における誤検出を顕著に低減した一方で、ターゲット構造を保持・強化した。
• 定性的な結果から、本手法が線形構造の小さなギャップを効果的に埋め、ピクセル単位の損失がペナルティを課さない大規模なトポロジー的誤りを防止できることを示した。