[논문 리뷰] Mixup Regularization for Region Proposal based Object Detectors

Shahine Bouabid, Vincent Delaitre|arXiv (Cornell University)|2020. 03. 04.

Advanced Neural Network Applications참고 문헌 43인용 수 4

한 줄 요약

이 논문은 이미지 쌍 간의 앵커와 그에 할당된 레이블 간의 선형 보간을 적용하여 영역 제안 기반 객체 검출기용 새로운 믹스업 정규화 방법을 제안한다. 이는 최소한의 계산 부담으로도 강건성과 일반화 능력을 향상시킨다. 이 방법은 특히 소형 객체에서 검출 성능을 향상시키며, 딥 네트워크에서 더 평탄하고 안정적인 특징 표현을 보여준다.

ABSTRACT

Mixup - a neural network regularization technique based on linear interpolation of labeled sample pairs - has stood out by its capacity to improve model's robustness and generalizability through a surprisingly simple formalism. However, its extension to the field of object detection remains unclear as the interpolation of bounding boxes cannot be naively defined. In this paper, we propose to leverage the inherent region mapping structure of anchors to introduce a mixup-driven training regularization for region proposal based object detectors. The proposed method is benchmarked on standard datasets with challenging detection settings. Our experiments show an enhanced robustness to image alterations along with an ability to decontextualize detections, resulting in an improved generalization power.

연구 동기 및 목표

• 이미지 분류에서 효과가 입증된 믹스업 정규화를 객체 검출에 확장함으로써, 경계 상자 보간이 비선형적이고 복잡한 객체 검출 문제에 적용 가능하도록 한다.
• 다양한 수의 위치와 레이블을 가진 객체 검출기의 영역 제안(앵커) 간에 의미 있는 믹스업을 정의하는 과제를 해결한다.
• 구조적인 믹스업 전략을 통해 적대적 편향, 이미지 수정, 분포 이탈에 대한 모델의 강건성을 향상시킨다.
• SSD 아키텍처를 사용하여 표준 벤치마크(Pascal VOC, MS COCO)에서 이 방법의 효과성을 검증한다.
• 믹스업이 특징 공간 기하학에 미치는 영향, 특히 은닉 표현의 주성분 분석을 통해 분석한다.

제안 방법

• 이 방법은 두 이미지 쌍 간의 앵커 좌표와 해당 레이블(분류 및 회귀)을 선형 보간하여 앵커 수준에서 믹스업을 수행한다.
• 각 훈련 배치에서 혼합 이미지는 두 입력 이미지의 가중 평균을 통해 생성되며, 혼합 계수 λ는 Beta(α, α) 분포에서 추출된다.
• 모델은 원본 앵커에 대한 표준 검출 손실과 보간된 앵커에 대한 믹스업 정규화 손실을 조합하여 훈련한다. backpropagation은 혼합 앵커의 로짓에만 적용된다.
• 이 방법은 사전 정의된 앵커 격자 구조를 활용하여 혼합 앵커와 원본 앵커 간의 일관된 매핑을 보장함으로써 유효한 회귀 및 분류를 가능하게 한다.
• 제거 분석을 통해 믹스업을 특정 앵커 스케일(예: A₁만)에 적용함으로써 스케일에 따른 성능 영향을 분석할 수 있다.
• 특징 공간 분석은 최전단 레이어의 특징에 대해 PCA를 적용하여 믹스업 모델과 베이스라인 모델 간의 설명된 분산을 비교함으로써 표현의 평탄함을 평가한다.

실험 결과

연구 질문

• RQ1 경계 상자가 비선형적이고 변동성이 큰 특징을 지닌 객체 검출 문제에서, 믹스업 정규화를 영역 제안 기반 객체 검출기에 의미 있게 적용할 수 있는가?
• RQ2 앵커 수준의 믹스업은 이미지 수준의 편향과 분포 이탈에 대한 검출 강건성을 향상시키는가?
• RQ3 믹스업은 학습된 특징 표현의 기하학적 성질에 어떤 영향을 미치는가? 특히 주성분 분산 측면에서 어떻게 변화하는가?
• RQ4 믹스업은 기존 SSD의 약점인 소형 객체 검출 성능 향상에 기여하는가?
• RQ5 믹스업의 효과는 다양한 앵커 스케일에 걸쳐 일관된가, 아니면 특정 특징 수준에서 더 효과적인가?

주요 결과

• 제안된 믹스업 방법은 Pascal VOC07에서 mAP를 0.7–1.3 포인트 향상시키며, 소형 앵커(A₁)에만 적용했을 경우 최종 mAP는 66.5%에 도달한다.
• 믹스업은 이미지 수정 및 적대적 패치 공격에 대한 강건성을 크게 향상시켜 국소적 편향에 대한 모델 민감도를 감소시킨다.
• PCA 분석 결과, 믹스업은 특징 표현을 평탄하게 만들며, 특히 더 큰 앵커 스케일(A₄–A₆)에서 첫 번째 주성분이 설명하는 분산 비율을 감소시킨다.
• 가장 작은 앵커 수준(A₁)에만 믹스업을 적용했을 경우, 베이스라인 대비 mAP가 0.7 포인트 향상되어 소형 객체 검출 능력 향상을 시사한다.
• 더 큰 앵커 스케일(A₄–A₆)에 믹스업을 적용할 경우 성능이 악화되며, 이는 정규화 효과가 스케일에 따라 다름을 시사하며, 조심스럽게 튜닝이 필요함을 의미한다.
• 이 방법은 훈련 기간에만 믹스업을 적용함으로써 거의 무시할 수 없는 계산 비용으로도 일반화 능력을 향상시킨다. 추론 과정에는 영향을 주지 않는다.