[論文レビュー] Feature Binding with Category-Dependant MixUp for Semantic Segmentation and Adversarial Robustness

Amirul Islam, Matthew Kowal+2 more|arXiv (Cornell University)|Aug 13, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 4

ひとこと要約

本稿では、セマンティックセグメンテーションのためのカテゴリ依存的MixUpを提案する。画像はクラスラベルに基づいてブレンドされ、ネットワークが同時にセグメンテーションと元の画像の分離を学習する。本手法は、構造的なデータブレンドとノイズ除去によって特徴のバインディングを強化することで、DeepLabv3よりmIoUを2.1%向上させるとともに、極端な摂動下でも特に強力な敵対的攻撃に対する耐性を向上させる。

ABSTRACT

In this paper, we present a strategy for training convolutional neural networks to effectively resolve interference arising from competing hypotheses relating to inter-categorical information throughout the network. The premise is based on the notion of feature binding, which is defined as the process by which activation's spread across space and layers in the network are successfully integrated to arrive at a correct inference decision. In our work, this is accomplished for the task of dense image labelling by blending images based on their class labels, and then training a feature binding network, which simultaneously segments and separates the blended images. Subsequent feature denoising to suppress noisy activations reveals additional desirable properties and high degrees of successful predictions. Through this process, we reveal a general mechanism, distinct from any prior methods, for boosting the performance of the base segmentation network while simultaneously increasing robustness to adversarial attacks.

研究の動機と目的

• 異なるカテゴリ間の特徴バインディングを強化することで、セマンティックセグメンテーションにおける競合仮説による干渉を軽減すること。
• アーキテクチャの変更なしにモデルの敵対的攻撃に対する耐性を向上させること。
• 同時に高密度画像ラベル付けとブレインドソース分離を実行する訓練戦略を開発すること。
• アーキテクチャの革新に依存しないで、一般化性能を向上させるために構造的なデータ拡張を活用すること。
• カテゴリに配慮した画像ブレンドが、より良い文脈的理解と予測精度をもたらすかどうかを調査すること。

提案手法

• クラスごとにサンプルをクラスタリングするカテゴリ依存戦略を用いて画像をブレンドし、訓練データに構造的な「カテゴリカル衝突」を生成する。
• ブレンドされたデータセット上で特徴バインディングネットワークを訓練し、元の画像を同時にセグメンテーションおよび分離する。空間的活性化と特徴活性化の対応を強制する。
• 訓練後処理として特徴ノイズ除去ステージを適用し、ノイズの多い活性化を抑制し、予測を精緻化する。
• 特徴バインディングヘッドを導入し、元の活性化とフェイク（幻）の活性化に基づいて、より知的で洗練された最終予測をネットワークが行えるようにガイドする。
• バックボーンとしてResNet101ベースの分散ゲーティングネットワークを用い、ノイズ除去を伴う微調整を適用して性能を向上させる。
• 訓練プロセスにおいて、ネットワークが異なるソースからの特徴を正しい意味的領域に対応付けることで、曖昧な活性化を解消する学習を強制する。

実験結果

リサーチクエスチョン

• RQ1 構造的でカテゴリ依存的な画像ブレンドは、標準的なMixUpやCutMixを上回るセマンティックセグメンテーション性能を実現できるか？
• RQ2 訓練中に特徴バインディングを強制することで、敵対的攻撃に対する耐性が向上するか？
• RQ3 画像ペairリング戦略の選択（例：ランダム vs. カテゴリベース）が、モデルの一般化性能および性能に与える影響はいかほどか？
• RQ4 特徴ノイズ除去は、敵対的摂動の存在下で、予測精度と耐性をどの程度向上させるか？
• RQ5 1つのネットワークアーキテクチャが、データレベルの拡張によって同時に高密度ラベル付けとブレインドソース分離を実行できるか？

主な発見

• 提案手法であるカテゴリ依存的MixUpは、PASCAL VOC 2012の検証セットでmIoU 78.0を達成し、DeepLabv3（75.9）を2.1%上回る。
• 標準的なMixUpやCutMixよりも顕著に優れており、CutMixのmIoUは敵対的攻撃下で低下する一方、本手法は依然として耐性を示す。
• 訓練後に適用された特徴ノイズ除去により、mIoUが76.2から78.0に上昇し、予測の精緻化に有効であることが示された。
• 特徴バインディングヘッドの導入により、mIoUが75.3から76.1に向上し、洗練された活性化統合によるより良い最終予測の実現が示された。
• 極端な敵対的設定（R-NoおよびR-Part）下でも、DeepLabv3、Mixup、CutMixを上回る強力な耐性を示し、敵対的一般化性能に優れた。
• クラスタリングベースのブレンド（C_fb）は、ランダムペアリング（R_fb）やカテゴリ内混合（Ca_fb）よりも高いmIoUを達成し、データ拡張における戦略的衝突設計の重要性を裏付けた。