[論文レビュー] Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation

Yawei Luo, Ping Liu+3 more|arXiv (Cornell University)|Apr 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 24

ひとこと要約

本稿では、特徴空間での敵対的適応の前に特徴を精錬することで、ドメイン適応型セマンティックセグメンテーションを向上させる、意味的認識特徴ボトルネック付き敵対的ネットワーク（SIBAN）を提案する。タスクに不要な要因をフィルタリングし、学習を安定化させることで、GTA5→CityscapesおよびSYNTHIA→Cityscapesのベンチマークで最先端の性能を達成し、出力空間手法と同等の結果を得るとともに、特徴空間で動作する。

ABSTRACT

For unsupervised domain adaptation problems, the strategy of aligning the two domains in latent feature space through adversarial learning has achieved much progress in image classification, but usually fails in semantic segmentation tasks in which the latent representations are overcomplex. In this work, we equip the adversarial network with a "significance-aware information bottleneck (SIB)", to address the above problem. The new network structure, called SIBAN, enables a significance-aware feature purification before the adversarial adaptation, which eases the feature alignment and stabilizes the adversarial training course. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method can yield leading results compared with other feature-space alternatives. Moreover, SIBAN can even match the state-of-the-art output-space methods in segmentation accuracy, while the latter are often considered to be better choices for domain adaptive segmentation task.

研究の動機と目的

• 高次元かつ複雑な特徴による特徴空間ドメイン適応における不安定さと特徴の不整合を解消する。
• タスクに不要な視覚的要因にだまされやすい過剰に正確な識別器によって引き起こされる敵対的学習の不安定性を克服する。
• 出力空間の監視に依存せずに、効果的で安定的かつ正確なドメイン整合を可能にすることで、特徴空間適応の潜在的価値を回復する。
• 出力空間適応手法と同等の性能を達成しながらも、特徴空間適応の枠組みにとどまる。

提案手法

• 敵対的適応の前に、入力Xと潜在表現Zの間の相互情報I(X,Z)を最小化することで、入力Xと潜在表現Zの間の相互情報I(X,Z)を最小化する意味的認識特徴ボトルネック（SIB）を導入し、タスクに不要な要因を効果的に除去する。
• 情報ボトルネック理論を適用し、入力Xと潜在表現Zの間の相互情報I(X,Z)を最小化することで、ドメイン不変の意味的情報を保持する。
• 重要度に基づいて動的に特徴精錬を調整できる学習可能なSIBモジュールを設計し、標準的なIBよりもロバスト性と性能を向上させる。
• SIBを敵対的ネットワーク（SIBAN）に統合し、不要な手がかりによる過剰な識別器の正確性を低減することで、学習を安定化させる。
• 訓練中に情報圧縮と意味的保持のトレードオフをバランスさせるために、適応的β戦略を採用する。
• SIBANを他のドメイン適応手法（例：重要度や出力マップの整合化）と組み合わせることで、さらなる性能向上を実現する。

Figure 1 : Comparison of the baseline method and SIBAN. The baseline method aligns the latent features directly. As the crude features contain various of task-independent factors, these features are prone to be wrongly aligned between two domains. SIBAN addresses this issue by employing an informati

実験結果

リサーチクエスチョン

• RQ1 意味的認識特徴ボトルネックは、セマンティックセグメンテーションの特徴空間ドメイン適応における敵対的学習を安定化させることができるか？
• RQ2 タスクに不要な要因をフィルタリングすることで、ドメインシフトの影響下でも特徴の整合性とセグメンテーション精度が向上するか？
• RQ3 特徴空間適応は、最先端の出力空間手法と同等の性能を達成できるか？
• RQ4 標準的な情報ボトルネックと比較して、SIBモジュールは訓練の安定性とセグメンテーション精度においてどのように優れているか？
• RQ5 適応的βおよび追加の識別器は、SIBANの性能向上にどの程度寄与しているか？

主な発見

• ResNet-101を用いたGTA5→Cityscapesベンチマークにおいて、SIBANは41.4%の平均交差率（mIoU）を達成し、最先端の出力空間手法と同等の性能を示した。
• SIBANは他の特徴空間適応手法を上回り、GTA5→CityscapesおよびSYNTHIA→Cityscapesの両方で特徴空間アプローチとして最高のmIoUを記録した。
• SIBの導入により、敵対的識別器損失（Loss_D）が0.5に近づき、訓練の安定化が確認された。一方、IBを備えないベースラインでは損失が急激に低下し、識別器の優位性が顕著に現れた。
• A-distance指標により、SIBANは標準的なIBよりもドメイン差をより効果的に低減していることが確認された。これは、IBがわずかに小さいA-distanceを示すものの、意味的情報をよりよく保持しているためである。
• アブレーションスタディの結果、重要度認識（SA）レイヤーの追加により標準IBが1.5%向上し、適応的β戦略によりさらに0.4%向上した。
• 重要度テンソルおよびセグメンテーションマップに追加の識別器を組み合わせることで、それぞれ0.8%および2.3%のmIoU向上が得られた。

Figure 2 : The network architecture of the proposed SIBAN.