[論文レビュー] Loss Functions in the Era of Semantic Segmentation: A Survey and Outlook

Reza Azad, Moein Heidary+6 more|arXiv (Cornell University)|Dec 8, 2023

Explainable Artificial Intelligence (XAI)被引用数 22

ひとこと要約

25の意味的セグメンテーションの損失関数の総括的なサーベイ、新しい分類とクロスドメイン（医療画像と自然画像）の評価洞察。

ABSTRACT

Semantic image segmentation, the process of classifying each pixel in an image into a particular class, plays an important role in many visual understanding systems. As the predominant criterion for evaluating the performance of statistical models, loss functions are crucial for shaping the development of deep learning-based segmentation algorithms and improving their overall performance. To aid researchers in identifying the optimal loss function for their particular application, this survey provides a comprehensive and unified review of $25$ loss functions utilized in image segmentation. We provide a novel taxonomy and thorough review of how these loss functions are customized and leveraged in image segmentation, with a systematic categorization emphasizing their significant features and applications. Furthermore, to evaluate the efficacy of these methods in real-world scenarios, we propose unbiased evaluations of some distinct and renowned loss functions on established medical and natural image datasets. We conclude this review by identifying current challenges and unveiling future research opportunities. Finally, we have compiled the reviewed studies that have open-source implementations on our GitHub page.

研究の動機と目的

• 意味的セグメンテーションの損失関数の統一的な分類法を提供する。
• 領域レベル、境界レベル、ピクセルレベルの損失の長所と短所を分析する。
• 実務的な選択を guiding するために医療画像と自然画像データセットで選択された損失を評価する。
• 分割の損失設計における課題と将来の方向性について洞察を提供する。

提案手法

• 領域レベル、境界レベル、ピクセルレベル、組み合わせ損失の4レベル分類法を提案する。
• 理論的根拠、定式化、適用例を含む25の損失関数を体系的にレビューする。
• CityscapesとSynapseデータセットで選択された損失を比較する定性的・定量的実験を実施する。
• 再現性のためにGitHubリポジトリを通じてオープンソース実装と事前学習済みウェイトを提供する。
• CNNおよびTransformerベースのモデルにおけるタスク固有の課題とアーキテクチャ上の考慮点を論じる。

Figure 1: The taxonomy subsections delineate four distinct groups: (1) Region-Level, (2) Boundary-Level, (3) Pixel-Level, and (4) Combination.

実験結果

リサーチクエスチョン

• RQ1 自然画像と医療画像の両方で一般的なセグメンテーションの課題（例：クラス不均衡、境界の精度）を最もよく解決する損失関数はどれか。
• RQ2 標準的なベンチマークでピクセルレベル、領域レベル、境界レベルの損失は実務上どのように比較されるか。
• RQ3 CNNとTransformerアーキテクチャを統合する際の設計上のトレードオフは何か。
• RQ4 意味的セグメンテーションの損失関数研究における主要な未解決課題と有望な方向性は何か。

主な発見

• 意味的セグメンテーションの25損失関数の分類法と構造化されたレビューが提示される。
• CityscapesとSynapseで設計意思を示すための比較実験を実施（数値結果はここには記載しない）。
• 境界精度、クラス不均衡などいくつかの課題を強調し、将来の研究の方向性を提案。
• 再現性のためにGitHubでオープンソース実装と事前学習済みウェイトを提供。
• 医療画像と自然画像のセグメンテーションの観点の両方を強調し、実務家を導く。

Figure 2: The qualitative comparison of segmentation results on the ACDC dataset from [ 40 ] . (Row 1&2: TransUNet, and Row 3&4: UNet)