[논문 리뷰] Hierarchical Object Detection with Deep Reinforcement Learning

Míriam Bellver, Xavier Giró-i-Nieto외 2명|arXiv (Cornell University)|2016. 11. 11.

Reinforcement Learning in Robotics참고 문헌 19인용 수 86

한 줄 요약

이 논문은 깊이 강화학습을 사용한 계층적 객체 검출 프레임워크를 제안하며, 에이전트가 순차적으로 이미지 영역에 초점을 맞춰 객체를 검출한다. 이 방법은 각 영역에서 고해상도 특징을 추출함으로써 특징 자르기 기반 방법보다 우수한 성능을 내며, 최소한의 영역 제안 수로도 강력한 검출 성능을 달성한다.

ABSTRACT

We present a method for performing hierarchical object detection in images guided by a deep reinforcement learning agent. The key idea is to focus on those parts of the image that contain richer information and zoom on them. We train an intelligent agent that, given an image window, is capable of deciding where to focus the attention among five different predefined region candidates (smaller windows). This procedure is iterated providing a hierarchical image analysis.We compare two different candidate proposal strategies to guide the object search: with and without overlap. Moreover, our work compares two different strategies to extract features from a convolutional neural network for each region proposal: a first one that computes new feature maps for each region proposal, and a second one that computes the feature maps for the whole image to later generate crops for each region proposal. Experiments indicate better results for the overlapping candidate proposal strategy and a loss of performance for the cropped image features due to the loss of spatial resolution. We argue that, while this loss seems unavoidable when working with large amounts of object candidates, the much more reduced amount of region proposals generated by our reinforcement learning agent allows considering to extract features for each location without sharing convolutional computation among regions.

연구 동기 및 목표

• 강화학습 에이전트에 의해 이끌리는 상향식 계층적 객체 검출 시스템을 개발하기 위해.
• 영역 계층 설계(중첩 여부)가 검출 성능에 미치는 영향을 조사하기 위해.
• 각 영역별 특징 계산과 전체 이미지에서 공유되는 특징 맵을 비교하기 위해.
• 높은 해상도의 영역별 특징이 계산 비용 증가에도 불구하고 검출 성능 향상에 기여하는지 평가하기 위해.
• 감소된 영역 제안 수로도 효과적인 각 영역별 특징 추출이 가능함을 보여주기 위해.

제안 방법

• 지능형 에이전트는 깊이 Q-학습을 사용하여 매 단계에서 다섯 가지 정의된 영역(네 개의 사분면과 중심) 중 어느 영역에 초점을 맞출지 결정한다.
• 에이전트는 상향식으로 이미지를 계층적으로 스캔하며, 객체가 검출될 때까지 초점을 반복적으로 정밀화한다.
• 두 가지 영역 제안 전략이 평가된다: 중첩 영역 후보와 비중첩 영역 후보.
• 두 가지 특징 추출 방법이 비교된다: Image-Zooms(각 영역별로 독립적인 특징 계산)와 Pool45-Crops(ROI 풀링을 통해 영역 간 공유되는 특징 맵).
• 에이전트는 예측된 바운딩 박스와 진짜 바운딩 박스 간의 IoU 기반 희박한 밀도 보상에 기반한 강화학습 프레임워크로 훈련된다.
• 실험은 PASCAL VOC 2007 데이터셋을 사용하며, 평균 평균 정밀도(mAP)와 재현율을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 중첩 여부에 따라 계층적 영역 제안 전략이 검출 성능와 재현율에 어떤 영향을 미치는가?
• RQ2 각 영역별 특징 추출(Image-Zooms)이 공유 특징 맵 추출(Pool45-Crops)보다 객체 검출 정확도에서 뛰어나게 되는가?
• RQ3 공유 특징을 사용할 경우 ROI 풀링으로 인한 공간 해상도 손실이 검출 성능에 얼마나 큰 영향을 미치는가?
• RQ4 에이전트가 일반적으로 객체를 검출하기 위해 몇 단계의 계층적 단계를 거치는가? 이는 객체의 크기와 국소화에 대해 어떤 함의를 갖는가?
• RQ5 강화학습 에이전트가 몇 개의 영역 제안만으로도 높은 검출 성능을 달성할 수 있으며, 이러한 방식의 한계는 무엇인가?

주요 결과

• 중첩 영역 제안 전략이 비중첩 전략보다 정밀도와 재현율 모두에서 뚜렷하게 뛰어나다.
• 각 영역별로 독립적으로 특징을 계산하는 Image-Zooms 모델이 Pool45-Crops 모델보다 더 뛰어난 검출 성능을 달성한다.
• Pool45-Crops 모델의 성능 저하는 특히 작은 객체에 대해 특징 맵에서 ROI 풀링으로 인한 해상도 감소 때문임을 기인한다.
• 80퍼센트 이상의 객체가 세 번 이내의 계층적 단계 내에서 검출되며, 이는 큰 객체 또는 중심에 위치한 객체에 대해 매우 효율적임을 시사한다.
• 진짜 라벨 가이던스를 사용한 상한 모델조차도 재현율이 0.5에 불과하여, 고정된 영역 계층이 모든 객체 위치를 커버하는 데에 내재된 한계를 보여준다.
• 계산 비용이 증가하지만, 에이전트가 고려하는 영역 제안 수가 극적으로 감소하므로 각 영역별 특징 추출은 실현 가능하고 유익하다.