[논문 리뷰] The Elephant in the Room

Amir Rosenfeld, Richard S. Zemel외 1명|arXiv (Cornell University)|2018. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 78

한 줄 요약

이 논문은 최신 객체 검출기의 객체 이식에 대한 취약성을 조사한다—즉, 한 이미지의 영역을 다른 이미지의 다른 객체로 교체하는 것이다. 이는 국소적 외부 요란성 없이도 검출의 불안정성, 잘못된 객체 식별, 관련 없는 객체에 영향을 미치는 비국소적 영향을 유발하며, 주로 ROI 풀링에서 발생하는 특징 간섭과 강건한 문맥적 추론의 부족으로 인해 발생한다.

ABSTRACT

We showcase a family of common failures of state-of-the art object detectors. These are obtained by replacing image sub-regions by another sub-image that contains a trained object. We call this "object transplanting". Modifying an image in this manner is shown to have a non-local impact on object detection. Slight changes in object position can affect its identity according to an object detector as well as that of other objects in the image. We provide some analysis and suggest possible reasons for the reported phenomena.

연구 동기 및 목표

• 비국소적이고 비왜곡적인 이미지 조작에 대한 최신 객체 검출기의 내성에 대해 조사하기 위해.
• 객체가 새로운 공간적 맥락으로 이식되었을 때 발생하는 실패 모드를 특정하기 위해.
• 이러한 조작 조건 하에서 검출의 불안정성과 오분류의 근본 원인을 분석하기 위해.
• 특징 간섭, 비최대 억제(NMS), 문맥적 추론이 검출기 실패에 어떤 역할을 하는지 평가하기 위해.

제안 방법

• COCO 검증 이미지에서의 객체를 정확한 세그멘테이션 마스크를 사용해 다른 이미지의 새로운 위치로 이식하였다.
• 전체 가시성을 확보하기 위해 격자 형태로 객체 위치를 변화시켜 테스트 이미지를 생성하였다 (단계 크기 k=10).
• 원본 이미지와 이식된 이미지 간의 검출 결과(바운딩 박스, 점수, 클래스)를 비교하였다.
• 새로운 클래스 또는 누락된 클래스의 수를 기반으로 이미지를 순위 매기기 위해 '클래스 매칭' 기준을 사용하였다.
• TensorFlow 객체 검출 API에 포함된 여러 최신 모델(예: NASNet 기반의 Faster R-CNN 및 Mask R-CNN)을 평가하였다.
• 특징 간섭, NMS의 부작용, 문맥적 추론 실패에 중점을 두고 정성적 및 정량적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 객체 검출기는 객체를 새로운 이미지 위치로 이식했을 때 어떻게 반응하는가?
• RQ2 왜 일부 이식된 객체는 사라지거나 다른 식별자를 가지게 되며, 다른 객체가 사라지거나 클래스가 바뀌는가?
• RQ3 검출기 아키텍처 구성 요소에서 기인하는 비국소적 영향—예를 들어 먼 거리의 객체 변화—는 어느 정도의 정도로 발생하는가?
• RQ4 ROI 풀링에서 발생하는 특징 간섭은 검출기 불안정성에 어떤 역할을 하는가?
• RQ5 문맥적 추론 실패는 공존하지 않는 객체 조합에서 관찰된 오분류를 설명할 수 있는가?

주요 결과

• 이식된 객체는 위치에 따라 자주 검출되지 않거나 다른 클래스로 잘못 식별되었다 (예: 코끼리가 의자로 식별됨).
• 이식된 객체와 겹치지 않는 객체들 역시 때로는 검출되지 않거나 식별자가 변경되어 비국소적 영향을 보였다.
• 가장 강력한 검출기(Faster R-CNN NAS COCO, mAP 43%)는 심각한 오분류 체인을 보였다: 예를 들어 핫도그가 샌드위치로, 간판이 책으로 잘못 식별됨.
• 비최대 억제(NMS)는 체인 반응을 유도하는 데 기여하였으며, 한 객체의 억제가 이식지점에서 멀리 떨어진 다른 객체의 재활성화를 유도함.
• 특히 배경 및 주변 영역에서의 ROI 풀링에 의한 특징 간섭이 불안정성의 주요 원인으로 규명됨.
• 동일 이미지 내에서의 이식(객체 복제)의 경우에도 유사한 실패 현상이 발생하여, 맥락과 공간적 배치가 검출 결과에 중대한 영향을 미친다는 점을 시사함.