[論文レビュー] Scalable Certified Segmentation via Randomized Smoothing

Marc Fischer, Maximilian Baader+1 more|arXiv (Cornell University)|Jul 1, 2021

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

本稿では、不確実な予測を避けることと多重仮説検定補正を適用することにより、大規模な画像および点群セグメンテーションタスクに対応するスケーラブルな確証可能ランダムスムージング手法であるSegCertifyを紹介する。この手法は、Cityscapesで最大88%、Pascal Contextで55%の最先端の確証可能精度を達成するとともに、高いmIoUスコアを維持する。

ABSTRACT

We present a new certification method for image and point cloud segmentation based on randomized smoothing. The method leverages a novel scalable algorithm for prediction and certification that correctly accounts for multiple testing, necessary for ensuring statistical guarantees. The key to our approach is reliance on established multiple-testing correction mechanisms as well as the ability to abstain from classifying single pixels or points while still robustly segmenting the overall input. Our experimental evaluation on synthetic data and challenging datasets, such as Pascal Context, Cityscapes, and ShapeNet, shows that our algorithm can achieve, for the first time, competitive accuracy and certification guarantees on real-world segmentation tasks. We provide an implementation at https://github.com/eth-sri/segmentation-smoothing.

研究の動機と目的

• 高次元性と多重仮説検定の問題により、従来の手法が失敗するセマンティックセグメンテーションにおける耐性の確証の挑戦に取り組む。
• 大規模セグメンテーションタスクにおける確証を損なう、個々の誤分類ピクセルや点による不安定性を克服する。
• 従来の手法が計算的に非現実的であった、Cityscapes、Pascal Context、ShapeNetなどの実世界データセットにおける実用的確証を可能にする。
• プラグアンドプレイ設計により、ℓ²有界摂動や3次元回転を含む複数の脅威モデルをサポートするフレームワークを導入する。
• 不確実性の排除と多重仮説検定補正の統計的補正を組み合わせることで、高い確証率と競争力のある精度を達成する。

提案手法

• 入力ピクセルや点に等方的ガウスノイズを追加し、複数回の順方向伝搬における予測を集約することで、セグメンテーションモデルにランダムスムージングを適用する。
• 高い不確実性を示すコンポーネント（ピクセル/点）に対して分類をスキップする、新規の不確実性回避メカニズムを採用し、個々の検定数を削減して統計的パワーを向上させる。
• 全コンポーネントの出力において有効な統計的保証を維持するために、ホルムのステップダウン手順を多重仮説検定補正に組み込む。
• 不確実性回避により検定数が減少するため、正しさを損なわずに耐性と確証率のトレードオフを改善できる。
• 任意の事前学習済みベースモデルと互換性を持つ、インフェレンス時防御としてのプラグアンドプレイ設計のSegCertifyを設計する。これにより、ℓ²およびその他の摂動タイプの確証が可能になる。
• 二項分布から導かれる信頼区間を用いて、モンテカルロサンプリング（n=1000またはn=10000）によりスムージング予測を推定し、認証半径を計算する。

実験結果

リサーチクエスチョン

• RQ1 高次元出力を持つセマンティックセグメンテーションタスクに、統計的確証保証を維持したままランダムスムージングをスケーリングできるか？
• RQ2 不安定または曖昧なコンポーネント（例：境界ピクセル）が確証セグメンテーションに与える悪影響をどのように軽減できるか？
• RQ3 多重仮説検定が確証性能に与える影響は何か？ また、耐性や効率を損なわずにこれを是正する方法は何か？
• RQ4 提案手法は、Cityscapes や Pascal Context などの実世界データセットで競争力のある確証可能精度を達成できるか？
• RQ5 幾何的特徴（例：3次元点群における法線）の導入が、確証性能および耐性に与える影響は何か？

主な発見

• Cityscapesデータセットでは、半径0.250で最大88%の認証ピクセル精度を達成し、mIoUが0.60に達し、ベースライン手法を著しく上回る。
• Pascal Contextでは、半径0.250で55%の認証ピクセル精度とmIoU 0.20を達成し、複雑で長尾分布を示すセグメンテーションタスクにおいて強力な性能を示す。
• ShapeNetにおける3次元点群セグメンテーションでは、3次元回転攻撃下で0.69の認証精度を達成し、ℓ²摂動を超える一般化性能を示す。
• 不確実性回避の導入により、検定対象コンポーネント数が減少し、より高い認証率が達成され、多重仮説検定補正のトレードオフが改善される。
• 不確実性閾値τの値を大きくすると、より多くのコンポーネントが不確実性回避され、より大きな認証半径が得られ、統計的信頼性が向上する。
• ノイズが多い、または非決定的であるベースモデルに対しても、複数回の確率的順方向伝搬による平均化により、予測が安定化するため、本手法は強力な性能を維持する。