[논문 리뷰] Zoom Better to See Clearer: Human Part Segmentation with Auto Zoom Net.

Fangting Xia, Peng Wang외 2명|arXiv (Cornell University)|2015. 11. 21.

Advanced Neural Network Applications인용 수 32

한 줄 요약

이 논문은 인간 부분 분할을 반복적으로 개선하기 위해 인스턴스 위치/스케일을 동시 예측하고 적응형 줌을 통해 분할을 정밀화하는 통합형 완전 컨volution 신경망인 Auto-Zoom Net (AZN)을 제안한다. 이 방법은 특히 소규모 부분에 대해 정확도를 크게 향상시키며, PASCAL-Person-Part에서 최신 기술을 초월하고 말과 소 분할 벤치마크에서 5% 이상의 성능 향상을 달성한다.

ABSTRACT

Parsing human regions into semantic parts, e.g., body, head and arms etc., from a random natural image is challenging while fundamental for computer vision and widely applicable in industry. One major difficulty to handle such a problem is the high flexibility of scale and location of a human instance and its corresponding parts, making the parsing task either lack of boundary details or suffer from local confusions. To tackle such problems, in this work, we propose the Auto-Zoom Net (AZN) for human part parsing, which is a unified fully convolutional neural network structure that: (1) parses each human instance into detailed parts. (2) predicts the locations and scales of human instances and their corresponding parts. In our unified network, the two tasks are mutually beneficial. The score maps obtained for parsing help estimate the locations and scales for human instances and their parts. With the predicted locations and scales, our model zooms the region into a right scale to further refine the parsing. In practice, we perform the two tasks iteratively so that detailed human parts are gradually recovered. We conduct extensive experiments over the challenging PASCAL-Person-Part segmentation, and show our approach significantly outperforms the state-of-art parsing techniques especially for instances and parts at small scale. In addition, we perform experiments for horse and cow segmentation and also obtain results which are considerably better than state-of-the-art methods (by over 5%)., which is contribued by the proposed iterative zooming process.

연구 동기 및 목표

• 자연 이미지에서 인간의 스케일과 위치의 높은 변동성으로 인해 정확한 부분 분할이 어려운 문제를 해결한다.
• 스케일과 공간 유연성으로 인한 경계 세부 정보 손실과 국소적 혼동을 해결한다.
• 인간 인스턴스 위치/스케일을 동시에 예측하고 부분 분할을 정밀화하는 통합형 딥 러닝 프레임워크를 개발한다.
• 예측된 스케일과 위치를 바탕으로 적응형 줄임을 통해 부분 분할을 반복적으로 개선한다.
• 소규모 인간 부분에서 뛰어난 성능을 달성하고 말, 소와 같은 다른 동물 종에 일반화할 수 있도록 한다.

제안 방법

• 인간 부분 분할과 인스턴스 스케일/위치 예측을 동시에 수행하는 통합형 완전 컨volution 신경망을 설계한다.
• 분할 점수 맵을 사용하여 인간 인스턴스와 그 부분의 위치 및 스케일을 추정한다.
• 예측된 스케일과 위치를 바탕으로 관심 영역에 적응형 줌을 적용하여 특징 해상도를 향상시킨다.
• 정밀한 세부 정보를 복구하기 위해 줌 인된 영역에 다시 네트워크를 적용하여 분할 결과를 반복적으로 개선한다.
• 분할 및 위치 감시를 통합한 공동 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 다중 스케일 특징과 공간 주의 메커니즘을 활용하여 스케일 변동성과 가림 현상에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 예측된 인간 인스턴스 스케일과 위치를 동시에 예측하는 것이 인간 부분 분할 정확도를 향상시키는가?
• RQ2 예측된 스케일과 위치를 기반으로 한 반복적 줌이 소규모 인간 부분의 경계 세부 정보 복구에 기여하는가?
• RQ3 제안된 방법이 인간 외의 동물 종, 예를 들어 말과 소와 같은 다른 동물 종에 일반화 가능한가?
• RQ4 PASCAL-Person-Part와 같이 도전적인 벤치마크에서 Auto-Zoom Net의 성능은 최신 기술과 비교해 어떻게 되는가?
• RQ5 반복적 줌 메커니즘이 국소적 혼동을 얼마나 줄이고 분할 일관성을 향상시키는가?

주요 결과

• Auto-Zoom Net은 특히 소규모 인간 부분에서 최신 기술을 크게 능가하며 PASCAL-Person-Part 벤치마크에서 뛰어난 성능을 보였다.
• 기존 방법 대비 말과 소 분할에서 mAP가 5% 이상 높아져 강력한 일반화 능력을 입증했다.
• 반복적 줌을 통해 경계가 점진적으로 정밀해지며 더 정확하고 세밀한 분할 맵을 생성할 수 있었다.
• 스케일과 위치의 동시 예측은 정확한 국소화를 향상시켜 줌 특징의 품질을 향상시켰다.
• 엔드 투 엔드 훈련을 통한 통합 네트워크 아키텍처는 계단식 또는 별도의 접근 방식보다 뛰어난 성능을 달성했다.
• 스케일 변동성과 가림 현상에 강건하여 혼잡한 장면에서도 높은 성능을 유지했다.