[논문 리뷰] Efficient Object Localization Using Convolutional Networks

Jonathan Tompson, Ross Goroshin외 3명|arXiv (Cornell University)|2014. 11. 16.

Human Pose and Action Recognition참고 문헌 21인용 수 27

한 줄 요약

이 논문은 풀링 레이어로 인해 손실되는 정밀도를 복구하고자 코arse 히트맵 회귀 모델과 세밀한 위치 보정 모듈을 공동으로 훈련하는 계단식 컨volution 네트워크 아키텍처를 제안한다. 이 방법은 풀링 레이어로 인한 정밀도 손실을 복구하여 FLIC 및 MPII 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 계산 오버헤드를 최소화한다.

ABSTRACT

Recent state-of-the-art performance on human-body pose estimation has been achieved with Deep Convolutional Networks (ConvNets). Traditional ConvNet architectures include pooling and sub-sampling layers which reduce computational requirements, introduce invariance and prevent over-training. These benefits of pooling come at the cost of reduced localization accuracy. We introduce a novel architecture which includes an efficient `position refinement' model that is trained to estimate the joint offset location within a small region of the image. This refinement model is jointly trained in cascade with a state-of-the-art ConvNet model to achieve improved accuracy in human joint location estimation. We show that the variance of our detector approaches the variance of human annotations on the FLIC dataset and outperforms all existing approaches on the MPII-human-pose dataset.

연구 동기 및 목표

• 풀링 레이어로 인해 공간 해상도가 감소하는 것과 관련된 계산 효율성과 정밀도 사이의 상충 관계를 해결한다.
• 모델 효율성과 추론 비용을 희생시키지 않고 단일 RGB 영상에서 관절 정밀도를 향상시킨다.
• 코어 검출 네트워크와 캐스케이드로 훈련된 위치 보정 모듈을 도입하여 풀링 과정에서 손실된 세밀한 공간 정보를 복구하는 방법을 개발한다.
• 단일 스케일 추론을 통해 실시간 적용이 가능하게 하면서도, 기준 데이터셋(FLIC 및 MPII-human-pose)에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이미지 전반에 걸쳐 관절 존재 가능성에 대한 저해상도 히트맵을 생성하기 위해 코어 컨volution 네트워크를 훈련한다.
• 코어 모델의 중간 컨볼루션 레이어에서 추출한 특징을 사용하여 국소화된 영역 내에서 서브픽셀 수준의 관절 오프셋을 예측하는 계단식 보정 네트워크를 도입한다.
• 코어 히트맵 회귀와 세밀한 오프셋 예측을 모두 포함하는 공통 목적 함수를 사용하여 두 네트워크를 공동으로 훈련함으로써 상호 정규화를 가능하게 한다.
• 과적합을 줄이고 강한 잡음 히트맵 이상 응답을 억제하기 위해 훈련 중에 SpatialDropout을 적용하여 일반화 능력과 고정밀도 정밀도를 향상시킨다.
• 훈련 중에는 다중 스케일 추론을 적용하지만, 테스트 시에는 단일 스케일 추론을 허용하여 실시간 배포가 가능하면서도 스케일 불변성을 학습한다.
• 딥 컨볼루션 네트워크의 계층적 특징 계층을 활용하여 픽셀 수준의 정확한 정위치를 위한 맥락 기반 풍부한 표현을 추출한다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션 네트워크에서 풀링으로 인해 손실된 정밀도를 상당한 계산 비용 없이 복구할 수 있는가?
• RQ2 코어 히트맵 예측과 세밀한 오프셋 보정을 조합한 계단식 아키텍처가 기준 데이터셋에서 관절 정위치 정확도를 향상시키는가?
• RQ3 SpatialDropout이 히트맵 예측의 일반화 능력 향상과 이상 응답 감소에 어느 정도 기여하는가?
• RQ4 원본 스케일 이미지로 훈련된 모델이 테스트 시 스케일 정규화 없이도 최신 기술 수준 성능를 달성할 수 있는가? 이는 내재된 스케일 불변성의 존재를 시사한다.

주요 결과

• 제안된 모델은 MPII-human-pose 데이터셋에서 0.5 정규화 거리 기준 PCKh 점수 82.0을 기록하여 이전 모든 방법을 능가한다.
• FLIC 데이터셋에서 손목 관절에 대해 0.05 정규화 거리 기준 PCK 점수 60.4%를 기록하여 이전 SOTA인 55.4%를 크게 상회한다.
• 원본 스케일 이미지(비정규화)로 훈련된 모델도 MPII에서 여전히 73.3%의 PCKh 점수를 기록하여 명시적인 정규화 없이도 강력한 스케일 불변성을 보여준다.
• SpatialDropout은 히트맵 이상 응답을 감소시키고 특히 손목과 같이 도전적인 관절에 대해 고정밀도 영역에서 성능 향상을 이룬다.
• 공동 훈련된 계단식 아키텍처는 과적합을 줄이고 일반화 능력을 향상시켜, 두 데이터셋의 모든 관절에서 일관된 성능 향상을 보였다.
• FLIC 및 MPII 데이터셋 모두에서 최신 기술 수준의 결과를 달성하였으며, 출판 당시 문헌에 보고된 바에서 가장 높은 PCKh 및 PCK 점수를 기록하였다.