[논문 리뷰] 3D Common Corruptions and Data Augmentation

Oğuzhan Fatih Kar, Teresa Yeo외 2명|arXiv (Cornell University)|2022. 03. 02.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 3D 시나리오의 깊이 구조를 반영한 기하학적 인식 이미지 오염인 3D 공통 오염(3DCC)을 소개한다. 이는 운동 흐림, 초점 흐림, 3D 시나리오 기반의 가림을 포함한 실제 세계의 왜곡을 시뮬레이션한다. 이 방법은 데이터 증강으로 사용될 경우 모델의 강인성을 향상시키며, 2D-only 증강 대비 3DCC 및 AE 벤치마크에서 오류를 최대 20% 감소시킨다.

ABSTRACT

We introduce a set of image transformations that can be used as corruptions to evaluate the robustness of models as well as data augmentation mechanisms for training neural networks. The primary distinction of the proposed transformations is that, unlike existing approaches such as Common Corruptions, the geometry of the scene is incorporated in the transformations -- thus leading to corruptions that are more likely to occur in the real world. We also introduce a set of semantic corruptions (e.g. natural object occlusions). We show these transformations are `efficient' (can be computed on-the-fly), `extendable' (can be applied on most image datasets), expose vulnerability of existing models, and can effectively make models more robust when employed as `3D data augmentation' mechanisms. The evaluations on several tasks and datasets suggest incorporating 3D information into benchmarking and training opens up a promising direction for robustness research.

연구 동기 및 목표

• 실제 3D 시나리오의 분포 이탈을 반영하는 현실적이고 기하학적 인식 이미지 오염의 벤치마크를 개발하는 것.
• 기존의 2D-only 오염(예: 공통 오염)이 시나리오의 깊이를 忽시하여 부자연스러운 왜곡을 유도하는 한계를 해결하는 것.
• 3D 시나리오 기하학을 통합하여 효율적이고 실시간으로 적용 가능한 3D 데이터 증강 기법을 설계하여 모델 강인성을 향상시키는 것.
• 3DCC가 기존 모델의 취약점을 드러내며 학습 시 사용될 경우 강인성을 향상시킬 수 있음을 입증하는 것.
• 3D 레이블이 필요 없이도 표준 비전 데이터셋에 적용 가능한 확장성 있고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 단일 영상에서 추정한 깊이 정보를 기반으로 3D 시나리오 기하학을 활용해 운동 파라랄랙스와 초점 깊이 흐림과 같은 현실적인 효과를 유도하는 오염 생성.
• 3D 시나리오 재구성 기반의 시나리오 인식 변환(예: 깊이 기반 안개, 그림자 있는 조명, 시점 기반 가림) 적용.
• 실시간으로 계산되는 20종의 별도 3D 오염(초점 흐림, 운동 흐림, 조명 변화, 의미적 가림 등) 도입.
• 기하학적 구조와 공간 일관성을 유지하면서도 기하학적 인식 렌더링과 3D 인식 워핑을 활용해 오염 적용.
• 이중 학습 전략: 3DCC에서 모델 강인성 평가 및 기하학적 왜곡에 대한 불변성 학습을 위한 3D 증강 기반 학습.
• 추정된 깊이 맵을 활용해 표준 데이터셋(예: ImageNet, Taskonomy)으로의 확장 지원으로, 3D 레이블 없이도 넓은 적용 가능성을 확보.

실험 결과

연구 질문

• RQ1 3D 인식 오염은 기존 2D 오염과 비교해 현실성과 실패 모드 노출 측면에서 어떻게 다를까?
• RQ2 기존 강인성 기법들이 2D 오염 대비 3D 공통 오염에서 얼마나 높은 수준의 실패를 보이는가?
• RQ3 3D 인식 데이터 증강이 실제 세계의 분포 이탈에 대해 모델 강인성을 크게 향상시킬 수 있는가?
• RQ4 3DCC 기반 증강 기법은 2D-only 증강 대비 깨끗한 데이터 및 오염된 데이터에서의 성능 향상에 어떻게 기여하는가?
• RQ5 3DCC는 기하학적으로 타당한 오염에 대한 일반화 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 2D 데이터 증강으로 학습된 모델은 3DCC 벤치마크에서 최대 20%의 성능 저하를 보이며 심각한 강인성 결함을 드러낸다.
• 3D 증강 기반 학습(본 논문)은 2DCC에서 5.32 ℓ₁ 오차, 3DCC에서 5.42 ℓ₁ 오차를 기록하며, O+DPT+2DCC(5.78 및 5.94)와 O+DPT(6.43 및 6.13)를 모두 앞서는 성능을 보인다.
• AE 벤치마크(합성된 실제 세계 오염)에서 본 논문의 모델은 4.94 ℓ₁ 오차를 기록하며, O+DPT+2DCC(6.50) 대비 23.9% 향상된 성능을 보였다.
• OASIS 데이터셋에서 본 논문의 모델은 23.89 각도 오차를 기록하며, 이는 다음으로 우수한 베이스라인(24.65) 대비 4.9% 향상된 성능으로 실제 세계의 다양한 환경 데이터에서의 강인성을 입증한다.
• Ours+X-TC 모델은 2DCC에서 5.29, 3DCC에서 5.35의 오차로 추가로 오차를 감소시켜, 3D 증강과 교차 작업 일관성의 조합이 일반화 능력을 향상시킨다는 것을 보여준다.
• 정성적 결과에서는 3D 증강 기반으로 학습된 모델의 예측이 DSLR 이미지 및 유튜브 영상 등 다양한 실제 세계 시나리오에서 상당히 강인한 것으로 나타났다.