[논문 리뷰] Feature Intertwiner for Object Detection

Hongyang Li, Bo Dai외 3명|arXiv (Cornell University)|2019. 03. 28.

Advanced Neural Network Applications참고 문헌 40인용 수 14

한 줄 요약

이 논문은 객체 검출을 위한 플러그 앤 플레이 기능 상호연결 모듈을 제안하며, 고해상도(신뢰할 만한) 및 저해상도(덜 신뢰할 만한) 객체 특징 간 상호 지식 정련을 통해 특징의 밀도를 향상시킵니다. 최적의 운반 이론을 활용해 특징 분포를 정렬함으로써, 다중 해상도 테스트 없이도 소형 객체에서 mAP를 2.6% 향상시키고 대형 객체에서는 0.8% 향상시켜 최신 기술보다 뚜렷이 뛰어난 성능을 보입니다.

ABSTRACT

A well-trained model should classify objects with a unanimous score for every category. This requires the high-level semantic features should be as much alike as possible among samples. To achive this, previous works focus on re-designing the loss or proposing new regularization constraints. In this paper, we provide a new perspective. For each category, it is assumed that there are two feature sets: one with reliable information and the other with less reliable source. We argue that the reliable set could guide the feature learning of the less reliable set during training - in spirit of student mimicking teacher behavior and thus pushing towards a more compact class centroid in the feature space. Such a scheme also benefits the reliable set since samples become closer within the same category - implying that it is easier for the classifier to identify. We refer to this mutual learning process as feature intertwiner and embed it into object detection. It is well-known that objects of low resolution are more difficult to detect due to the loss of detailed information during network forward pass (e.g., RoI operation). We thus regard objects of high resolution as the reliable set and objects of low resolution as the less reliable set. Specifically, an intertwiner is designed to minimize the distribution divergence between two sets. The choice of generating an effective feature representation for the reliable set is further investigated, where we introduce the optimal transport (OT) theory into the framework. Samples in the less reliable set are better aligned with aid of OT metric. Incorporated with such a plug-and-play intertwiner, we achieve an evident improvement over previous state-of-the-arts.

연구 동기 및 목표

• 고차원 특징 공간에서의 동일 클래스 간 변동성을 줄임으로써 딥 객체 검출기의 특징 밀도를 향상시키는 것.
• 네트워크 추론 과정에서 특징 열화 현상에 시달리는 소형, 저해상도 객체를 탐지하는 데 도전하는 것.
• 신뢰할 만한(고해상도) 및 덜 신뢰할 만한(저해상도) 특징 세트 간 상호 특징 정련을 가능하게 하는 일반화 가능하고 플러그 앤 플레이 성격의 모듈을 제안하는 것.
• 역사 버퍼를 활용해 동적으로 클래스별 특징 대표값을 유지함으로써 모델 일반화 능력을 향상시키는 것.
• 최적의 운반 이론을 정규화 측정 지표로 사용해 특징 분포 간 정렬을 향상시키는 것.

제안 방법

• 이 방법은 고해상도 객체 특징을 '선생'으로, 저해상도 특징을 '학생'으로 간주하여 상호 특징 정련을 수행하는 기능 상호연결 모듈을 도입합니다.
• 클래스별로 고해상도 객체의 대표 특징을 훈련 배치 간에 저장하고 갱신하는 역사 버퍼를 사용하여 일관된 감독을 보장합니다.
• 신뢰할 만한 특징 세트와 덜 신뢰할 만한 특징 세트 간 분포 차이를 측정하고 최소화하기 위해 최적의 운반 이론(OT)을 분산 거리 측정 지표로 사용합니다.
• 기본적으로 낮은 차원 공간에서 특징 정렬을 강제하는 OT 기반 손실을 구현하기 위해 경량 생성기 및 비평가 네트워크를 사용합니다.
• 최소한의 파라미터 및 계산 오버헤드로 두 단계 검출기인 Faster R-CNN에 통합됩니다.
• 기울기 간섭을 방지하기 위해 분리 가능한 버퍼 갱신 전략을 사용하여 안정성과 성능을 향상시킵니다.

실험 결과

연구 질문

• RQ1 고해상도 및 저해상도 객체 특징 간 상호 지식 정련이 특징의 밀도와 검출 정확도를 향상시키는가?
• RQ2 최적의 운반 이론이 해상도 수준 간 특징 분포 정렬에 있어 표준 거리 측정 지표와 비교해 어떻게 성능을 높이는가?
• RQ3 큰 객체가 미니배치에 존재하지 않을 경우, 신뢰할 만한 특징의 동적 역사 버퍼 유지가 훈련 안정성과 성능 향상에 기여하는가?
• RQ4 특징 상호연결 모듈이 본질적으로 더 어려운 소형 객체의 검출 성능 향상에 얼마나 기여하는가?
• RQ5 이 상호연결 모듈이 아키텍처 수정 없이 다양한 검출 아키텍처에 일반적으로 적용 가능한가?

주요 결과

• 기능 상호연결 모듈은 소형 객체에서 mAP를 2.6%p 향상시키고 대형 객체에서는 0.8%p 향상시켜 어려운 샘플에서 뚜렷한 성과를 보입니다.
• COCO 데이터셋에서 제안된 InterNet 모델은 다중 해상도 테스트 없이도 42.5% mAP를 달성하여 Mask R-CNN(39.2%)와 SSD(31.2%)를 모두 능가합니다.
• 분포 정렬에 최적의 운반 이론을 사용함으로써 t-SNE를 통한 시각화 결과 특징 군집화가 향상되었으며, 클래스 간 혼동과 이질적 외곽선이 감소했습니다.
• 모든 역사 전략과 창 크기 1을 사용할 경우 성능이 40.1%에서 40.5% mAP로 향상되어 훈련 중 클래스 불균형 문제를 효과적으로 다루는 데 기여했습니다.
• 추론 시간은 5% 증가(325ms 대비 308ms)하고 GPU당 메모리는 1.3GB 증가하여 성능 향상에도 불구하고 낮은 오버헤드를 보였습니다.
• 노이즈가 있는 주석에 대해서도 모델은 강건성을 보였습니다: 예를 들어 'couch'의 AP 감소는 주석 노이즈 때문이며, 상호연결 모듈 때문이 아니므로 실제 데이터 오류 상황에서도 안정적임을 시사합니다.