[논문 리뷰] Learning Region Features for Object Detection

Jiayuan Gu, Han Hu외 3명|arXiv (Cornell University)|2018. 03. 19.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 객체 검출을 위한 완전한 엔드 투 엔드 학습 가능한 영역 특징 추출 방법을 제안하며, 히ュ리스틱한 RoI 풀링을 대체하여 기하학적 및 외관 정보를 적응적으로 융합하는 학습 가능한 주의 기반 가중치 메커니즘을 도입한다. 이 방법은 ResNet-101과 FPN를 사용하여 COCO test-dev에서 39.9의 mAP를 달성하며, 비가역적이고 히ュ리스틱한 성격을 지닌 변형 가능한 RoI 풀링을 능가하며, 완전히 미분 가능한 객체 검출 파이프라인으로의 전환을 이룬다.

ABSTRACT

While most steps in the modern object detection methods are learnable, the region feature extraction step remains largely hand-crafted, featured by RoI pooling methods. This work proposes a general viewpoint that unifies existing region feature extraction methods and a novel method that is end-to-end learnable. The proposed method removes most heuristic choices and outperforms its RoI pooling counterparts. It moves further towards fully learnable object detection.

연구 동기 및 목표

• 현대 객체 검출기에서 지속적으로 수작업으로 설계된 영역 특징 추출 방식에 의존하는 문제를 해결하기 위해, 특히 RoI 풀링의 비가역성과 히ュ리스틱한 성격을 해결하고자 한다.
• 기하학적 및 외관 기반 특징의加산 가중치 합을 기반으로 한 일반적인 수학적 공식화에 따라 기존의 영역 특징 추출 방법들을 통합하고자 한다.
• 고정된 격자와 보간 규칙 없이 기하학적 및 외관 기반 주의를 동시에 모델링하는 완전히 학습 가능한 모듈을 개발하고자 한다.
• 공간적 가중치의 엔드 투 엔드 학습이 검출 정확도 향상과 객체 마스크와의 더 나은 정렬을 이끌 수 있음을 입증하고자 한다.

제안 방법

• 지원 영역 내에서 이미지 특징의 가중치 합으로서 영역 특징 추출을 공식화하며, 이 가중치는 미분 가능한 주의 메커니즘을 통해 학습된다.
• RoI 위치 $ b $, 이미지 특징 $ \mathbf{x} $, 공간 위치 $ p $ 를 모두 고려하는 학습 가능한 가중치 함수 $ w_k(b,p,\mathbf{x}) $ 를 도입한다.
• RoI와 이미지 위치 간의 공간적 관계를 인코딩하는 학습 가능한 네트워크를 사용하여 기하학적 주의를 모델링하며, [13,12]의 아이디어를 영감으로 삼는다.
• 변형 가능한 RoI 풀링에서 사용된 바와 같이, 입력 특징 맵에 대해 1x1 컨볼루션을 통해 외관 기반 주의를 통합한다.
• 정확도를 유지하면서 계산 비용을 줄이기 위해 희소 샘플링 전략을 사용하며, 이는 실용적인 구현을 가능하게 한다.
• 가중치가 공간 위치 상의 확률 분포로 간주될 수 있도록, 총합이 1이 되도록 하는 정규화 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱한 RoI 풀링을 학습 가능한 주의 메커니즘으로 대체함으로써 영역 특징 추출을 완전히 엔드 투 엔드로 미분 가능하게 만들 수 있는가?
• RQ2 데이터로부터 학습된 공간적 가중치가 고정 격자 기반 풀링에 비해 검출 성능 향상에 기여하는가?
• RQ3 학습된 가중치가 실제 객체 프론트엔드와 얼마나 잘 정렬되는가? 이는 암묵적인 인스턴스 세그멘테이션 능력을 시사하는가?
• RQ4 제안된 방법이 다양한 백본 네트워크와 검출 프레임워크(예: Faster R-CNN, FPN)에 일반화 가능한가?

주요 결과

• 제안된 방법은 ResNet-101과 FPN를 사용하여 COCO test-dev에서 39.9의 mAP를 달성하며, 변형 가능한 RoI 풀링(39.9 대 40.0)을 능가하고 새로운 SOTA를 수립한다.
• ResNet-50를 사용한 Faster R-CNN에서, 제안 방법은 변형 가능한 RoI 풀링의 37.7에서 37.8로 mAP를 향상시켜 일관된 성능 향상을 보였다.
• 정성적 분석 결과, 훈련 후 가중치가 객체 프론트엔드에 집중되며, 다양한 부위 간에 뚜렷한 공간적 주의 패턴을 보였다.
• 정량적 분석을 통해 훈련 중에 부위별 가중치 간의 KL 발산이 증가하는 것을 확인하였으며, 이는 각 부위가 서로 다른 공간 영역에 집중하도록 학습된다는 것을 시사한다.
• 부위별 가중치 맵을 최대 풀링하여 취한 통합 가중치 맵은 지표 객체 마스크와 강한 정렬을 보였으며, 이는 훈련 중 KL 발산이 급격히 감소하는 것으로 확인되었다.
• 희소 샘플링 구현을 통해 정확도가 약간 감소하더라도 제안 방법은 상태의 성능을 달성하며, 계산적으로 실현 가능하다.