[論文レビュー] Penalizing Top Performers: Conservative Loss for Semantic Segmentation Adaptation

Xinge Zhu, Hui Zhou+3 more|arXiv (Cornell University)|Sep 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 15

ひとこと要約

本論文では、合成画像から実画像への一般化を向上させるために、予測の極端な信頼度をペナルティ化する新しい敵対的損失、Conservative Lossを提案する。予測が困難な例に対して勾配降下法を適用し、高信頼度の予測に対しては勾配上昇法を適用することで、追加の推論コストなしにSOTA性能を達成し、SynthiaからCityscapesへの移行で9.3 mIoUの向上を実現した。

ABSTRACT

Due to the expensive and time-consuming annotations (e.g., segmentation) for real-world images, recent works in computer vision resort to synthetic data. However, the performance on the real image often drops significantly because of the domain shift between the synthetic data and the real images. In this setting, domain adaptation brings an appealing option. The effective approaches of domain adaptation shape the representations that (1) are discriminative for the main task and (2) have good generalization capability for domain shift. To this end, we propose a novel loss function, i.e., Conservative Loss, which penalizes the extreme good and bad cases while encouraging the moderate examples. More specifically, it enables the network to learn features that are discriminative by gradient descent and are invariant to the change of domains via gradient ascend method. Extensive experiments on synthetic to real segmentation adaptation show our proposed method achieves state of the art results. Ablation studies give more insights into properties of the Conservative Loss. Exploratory experiments and discussion demonstrate that our Conservative Loss has good flexibility rather than restricting an exact form.

研究の動機と目的

• 合成データで学習し、実画像でテストするセマンティックセグメンテーションにおけるドメインシフト問題に対処すること。
• 推論コストを増加させることなく、実世界のドメインへの一般化を向上させること。
• ソースドメインにおける識別力とドメインシフトに対する不変性の両立を図る損失関数を開発すること。
• 従来の分類ベースの手法が失敗するような密度予測タスクにおける有効なドメイン適応を可能にすること。
• 固定された関数形に依存しないが、重要な不変性および識別特性を維持する柔軟な損失メカニズムを設計すること。

提案手法

• 低信頼度の予測に対して勾配降下、高信頼度の予測に対して勾配上昇を適用する微分可能な損失であるConservative Lossを提案する。
• 分岐関数を用いて、信頼度がしきい値を超える極端な信頼度（p_t > threshold）をペナルティ化し、負の勾配を割り当てることで、ソースドメインへの過学習を防ぐ。
• ドメイン不変な特徴表現を強制するために、再構成ディスクリミネーターを備えた生成的敵対的ネットワーク（GAN）を統合する。
• 2段階の訓練フレームワークを適用：まずソースセグメンテーションを最適化し、その後でドメイン不変性とセグメンテーション精度を同時に最適化する。
• バランス係数λを用いて損失をスケーリングし、識別力と不変性のトレードオフを柔軟に調整可能にする。
• 推論時に追加の計算負荷を発生させず、効率性を維持する形で損失を実装する。

実験結果

リサーチクエスチョン

• RQ1 極端な予測をペナルティ化する損失関数は、セマンティックセグメンテーションにおけるドメイン一般化を改善できるか？
• RQ2 一つの損失関数内で勾配降下と勾配上昇を組み合わせることで、ドメインシフトに対するモデルのロバストネスにどのような影響を与えるか？
• RQ3 Conservative Lossは、Cross Entropy や Focal Loss と比較して、合成画像から実画像へのセグメンテーション適応で優れた性能を示すか？
• RQ4 損失関数の正確な関数形が性能に与える影響はどの程度か？あるいは、同様の性質を持つ代替の同次関数でも同等の結果が得られるか？
• RQ5 提案された損失は、再トレーニングを伴わずに、さまざまなアーキテクチャやデータセットに柔軟に適応可能か？

主な発見

• Conservative Lossは、GTAVからCityscapesへの適応ベンチマークで38.1 mIoUを達成し、前回SOTAより9.3ポイント向上した。
• Cross Entropy（34.4 mIoU）およびFocal Loss（35.8 mIoU）を上回り、ドメインシフト下での優れた一般化性能を示した。
• アブレーションスタディの結果、高信頼度の予測に対するペナルティが、ターゲットドメインのパフォーマンス向上に不可欠であることが確認された。
• 同様の性質（例：立方関数）を持つ同次損失でも同等の結果が得られ、損失の正確な関数形が必須ではないことが示された。
• 損失は異なるアーキテクチャやデータセットに対しても柔軟かつ効果的であり、広範な適用可能性を示した。
• 可視化と分析の結果、モデルはソースドメインで識別力があり、かつドメインシフトに対してロバストな特徴を学習していることがわかった。