[논문 리뷰] Joint Hand Detection and Rotation Estimation by Using CNN

Xiaoming Deng, Ye Yuan외 5명|arXiv (Cornell University)|2016. 12. 08.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 복합 신경망(CNN)에 새로운 디러오테이션 레이어를 도입하여 손 감지와 평면 내 회전 추정을 동시에 수행하는 공동 딥 러닝 프레임워크를 제안한다. 이는 엔드 투 엔드 최적화를 가능하게 하며, 옥스포드 및 Egohands 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 또한 추론 시간이 7배 빨라지고, 감지 작업과 회전 추정 간 상호 보완 효과로 인해 정확도가 향상된다.

ABSTRACT

Hand detection is essential for many hand related tasks, e.g. parsing hand pose, understanding gesture, which are extremely useful for robotics and human-computer interaction. However, hand detection in uncontrolled environments is challenging due to the flexibility of wrist joint and cluttered background. We propose a deep learning based approach which detects hands and calibrates in-plane rotation under supervision at the same time. To guarantee the recall, we propose a context aware proposal generation algorithm which significantly outperforms the selective search. We then design a convolutional neural network(CNN) which handles object rotation explicitly to jointly solve the object detection and rotation estimation tasks. Experiments show that our method achieves better results than state-of-the-art detection models on widely-used benchmarks such as Oxford and Egohands database. We further show that rotation estimation and classification can mutually benefit each other.

연구 동기 및 목표

• 손의 외형 변화가 심하고 배경이 혼잡한 비제어 환경에서 손 감지를 해결하기 위한 도전 과제를 다루기 위해.
• 감지 및 평면 내 회전 추정을 공동 최적화하여 정확도와 효율성을 향상시키기 위해.
• 선택적 검색 및 오브제크트니스보다 재현율과 평균 평균 최고 오버랩(MABO)에서 뛰어난 성능을 보이는 맥락 인식 영역 제안 생성 방법을 설계하기 위해.
• 엔드 투 엔드 학습이 가능한 감독 기반, 미분 가능한 디러오테이션 레이어를 개발하여 회전 정렬 및 감지에 기여하기 위해.
• 명시적인 회전 추정을 통해 브루트 포스 회전 검색을 회피함으로써 추론 시간을 단축시키기 위해.

제안 방법

• 구분 능력 있는 특징을 활용하여 선택적 검색 및 오브제크트니스보다 재현율과 MABO를 향상시키는 맥락 인식 제안 생성 알고리즘을 제안한다.
• 예측된 회전 각도에 기반해 특징 맵을 정면 방향으로 명시적으로 회전시키는 디러오테이션 레이어를 도입하여 엔드 투 엔드 학습이 가능하게 한다.
• 효율성을 위해 공유된 특징 추출을 통해 감지 및 회전 추정을 공동 최적화하는 이중 스트림 CNN 아키텍처를 활용한다.
• 감지 이전에 입력 제안을 정렬하기 위해, 예측된 평면 내 회전 각도를 기반으로 감독 기반의 회전 추정 네트워크를 사용하고, 디러오테이션 레이어를 통해 적용한다.
• 고정된 크기의 특징을 추출하기 위해 회전된 제안에 대해 ROI 풀링을 적용하여 공간 일관성을 확보한다.
• 감지 및 회전 추정 작업이 상호 보완적으로 성능 향상을 이룰 수 있도록, 전체 네트워크를 공동 최적화하여 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 감지 및 평면 내 회전 추정을 공동으로 학습할 경우, 별도 학습 대비 감지 정확도가 향상되는가?
• RQ2 미분 가능한 디러오테이션 레이어를 통한 명시적 회전 정렬이 특징 학습 및 모델 일반화 능력을 향상시키는가?
• RQ3 맥락 인식 제안 생성 방법이 선택적 검색 및 오브제크트니스보다 재현율과 MABO에서 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ4 공동 학습이 성능을 유지하거나 향상시키면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ5 회전 추정 정확도가 감지 성능에 미치는 영향은 어떠한가? 그 반대의 영향은 어떠한가?

주요 결과

• 제안된 방법은 옥스포드 데이터셋에서 평균 정밀도(mAP) 53.5%를 달성하여 최신 기술 수준 모델를 능가한다.
• Egohands 데이터셋에서는 공동 모델이 mAP 75.7%를 기록하여 베이스라인 방법(73.3%)을 초월하며, 일반화 능력 향상을 입증한다.
• Egohands에서 회전 추정 정확도는 10° 이내 오차에서 49.01%에 달하며, 20° 이내 오차에서는 76.68%를 기록하여 강력한 성능을 보인다.
• 디러오테이션 레이어 덕분에 브루트 포스 회전 검색 대비 추론 시간이 7배 빨라졌으며, 이미지당 8초로 단축되었다.
• 공동 학습은 감지 mAP를 2% 향상시키고, 회전 추정 정확도를 1% 향상시켜 상호 보완 효과를 확인한다.
• 정답 회전 값을 사용해 학습한 모델은 50.9% mAP를 기록하였고, 제안된 방법은 48.3% mAP를 달성하여 강력한 최적화와 최소한의 성능 격차를 보였다.