[논문 리뷰] Scalable Certified Segmentation via Randomized Smoothing

Marc Fischer, Maximilian Baader외 1명|arXiv (Cornell University)|2021. 07. 01.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 확률적 스무딩을 활용한 확장 가능한 검증 기반 의미 분할 방법인 SegCertify를 소개한다. 이 방법은 불확실한 예측을 기피하고 다중 검정 보정을 적용하여 대규모 이미지 및 포인트 클라우드 분할 작업을 처리한다. Cityscapes에서 최대 88%의 검증 정확도와 Pascal Context에서 55%의 검증 정확도를 달성하면서도 높은 mIoU 점수를 유지한다.

ABSTRACT

We present a new certification method for image and point cloud segmentation based on randomized smoothing. The method leverages a novel scalable algorithm for prediction and certification that correctly accounts for multiple testing, necessary for ensuring statistical guarantees. The key to our approach is reliance on established multiple-testing correction mechanisms as well as the ability to abstain from classifying single pixels or points while still robustly segmenting the overall input. Our experimental evaluation on synthetic data and challenging datasets, such as Pascal Context, Cityscapes, and ShapeNet, shows that our algorithm can achieve, for the first time, competitive accuracy and certification guarantees on real-world segmentation tasks. We provide an implementation at https://github.com/eth-sri/segmentation-smoothing.

연구 동기 및 목표

• 고차원성과 다중 검정 문제로 인해 기존 방법이 실패하는 의미 분할에서의 강건성 검증 도전 과제를 해결한다.
• 대규모 분할 작업에서 검증을 약화시키는 개별 잘못 분류된 픽셀 또는 포인트로 인한 불안정성을 완화한다.
• 이전 방법이 계산적으로 비현실적이었던 실세계 데이터셋인 Cityscapes, Pascal Context, ShapeNet에 대해 실용적인 검증을 가능하게 한다.
• ℓ² 유계 변형 및 3D 회전과 같은 다양한 위협 모델을 지원하는 플러그 앤 플레이 설계를 통해 프레임워크를 도입한다.
• 기각과 다중 가설 검정에 대한 통계 보정을 결합하여 높은 검증 비율과 경쟁 가능한 정확도를 달성한다.

제안 방법

• 입력 픽셀 또는 포인트에 등방성 가우시안 노이즈를 추가하고 다중 전방 전파에 걸쳐 예측을 집계함으로써 분할 모델에 확률적 스무딩을 적용한다.
• 높은 불확실성을 가진 구성 요소(픽셀/포인트)에 대해 분류를 생략하는 새로운 기각 메커니즘을 사용하여 개별 테스트 수를 줄이고 통계적 검정력을 향상시킨다.
• 모든 분할 출력 구성 요소에 대한 유효한 통계적 보장을 유지하기 위해 홀름의 단계 내림 정렬 절차를 통합한다.
• 기각이 테스트 수를 줄이므로 강건성과 검증 비율 간의 트레이드오���을 개선하면서도 정확성을 손상시키지 않는다.
• 모든 사전 학습된 기본 모델과 호환되는 플러그 앤 플레이 인퍼런스 타임 방어로 SegCertify를 설계하여 ℓ² 및 기타 변형 유형에 대한 검증을 가능하게 한다.
• 이항 분포에서 유도된 신뢰구간을 사용해 몬테카를로 샘플링(n=1000 또는 n=10000)을 통해 스무딩된 예측을 추정하고, 검증 반경을 계산한다.

실험 결과

연구 질문

• RQ1 고차원 출력을 가진 의미 분할 작업에 대해 확률적 스무딩을 확장할 수 있을까? 통계적 검증 보장을 유지할 수 있을까?
• RQ2 불안정하거나 모호한 구성 요소(예: 경계 픽셀)가 검증 분할에 악영향을 미치는 것을 어떻게 완화할 수 있을까?
• RQ3 다중 가설 검정은 검증 성능에 어떤 영향을 미치며, 강건성이나 효율성을 희생시키지 않고 어떻게 보정할 수 있을까?
• RQ4 제안된 방법은 Cityscapes 및 Pascal Context와 같은 실세계 데이터셋에서 경쟁 가능한 검증 정확도를 달성할 수 있을까?
• RQ5 기하학적 특징(예: 3D 포인트 클라우드의 표면 법선)의 포함이 검증 성능과 강건성에 어떤 영향을 미칠까?

주요 결과

• Cityscapes 데이터셋에서, 이 방법은 반경 0.250에서 최대 88%의 검증 픽셀 정확도와 mIoU 0.60을 달성하여 기준 방법들을 크게 능가한다.
• Pascal Context에서, 이 방법은 반경 0.250에서 55%의 검증 픽셀 정확도와 mIoU 0.20을 달성하여 복잡하고 긴 꼬리 분포를 가진 분할 작업에서 강력한 성능을 보였다.
• ShapeNet에서의 3D 포인트 클라우드 분할 작업에서는 3D 회전 공격 하에서 0.69의 검증 정확도를 기록하여 ℓ² 변형을 초월한 일반화 능력을 보였다.
• 기각의 사용은 테스트 대상 구성 요소의 수를 줄여 더 높은 검증 비율을 가능하게 하고 다중 검정 보정의 트레이드오���을 개선했다.
• 기각 임계값 τ의 값이 높을수록 더 많은 기각이 발생하지만, 더 큰 검증 반경과 향상된 통계적 신뢰도를 가능하게 한다.
• 노이즈가 있거나 비결정적인 기본 모델에서도 이 방법은 다중 스토케스틱 전방 전파를 통한 평균화 과정으로 인해 예측을 안정화시켜 강력한 성능을 유지한다.