[논문 리뷰] Zoom Better to See Clearer: Human and Object Parsing with Hierarchical Auto-Zoom Net

Fangting Xia, Peng Wang외 2명|arXiv (Cornell University)|2015. 11. 21.

Multimodal Machine Learning Applications참고 문헌 47인용 수 13

한 줄 요약

이 논문은 인간 및 동물 부위 분할을 위한 최적 척도로 이미지 영역을 적응적으로 확대하는 두 단계로 구성된 완전 컨volution 신경망인 계층적 오토줌넷(HAZN)을 제안한다. 먼저 객체 척도를 추정한 후 척도 적응형 줌을 통해 부위 수준의 분할을 정밀화함으로써, PASCAL 데이터셋에서 최신 기술 대비 mIOU를 5% 향상시켰으며, 특히 작은 객체와 세밀한 부위 경계에서 뛰어난 성능을 발휘한다.

ABSTRACT

Parsing articulated objects, e.g. humans and animals, into semantic parts (e.g. body, head and arms, etc.) from natural images is a challenging and fundamental problem for computer vision. A big difficulty is the large variability of scale and location for objects and their corresponding parts. Even limited mistakes in estimating scale and location will degrade the parsing output and cause errors in boundary details. To tackle these difficulties, we propose a "Hierarchical Auto-Zoom Net" (HAZN) for object part parsing which adapts to the local scales of objects and parts. HAZN is a sequence of two "Auto-Zoom Net" (AZNs), each employing fully convolutional networks that perform two tasks: (1) predict the locations and scales of object instances (the first AZN) or their parts (the second AZN); (2) estimate the part scores for predicted object instance or part regions. Our model can adaptively "zoom" (resize) predicted image regions into their proper scales to refine the parsing. We conduct extensive experiments over the PASCAL part datasets on humans, horses, and cows. For humans, our approach significantly outperforms the state-of-the-arts by 5% mIOU and is especially better at segmenting small instances and small parts. We obtain similar improvements for parsing cows and horses over alternative methods. In summary, our strategy of first zooming into objects and then zooming into parts is very effective. It also enables us to process different regions of the image at different scales adaptively so that, for example, we do not need to waste computational resources scaling the entire image.

연구 동기 및 목표

• 자연 이미지 내 인간, 말, 소의 부위 분할에서 크기 및 위치 변동성이 큰 문제를 해결하기 위해.
• 지역 척도에 맞게 네트워크 추론을 적응시킴으로써, 특히 작은 객체 및 세밀한 부위의 분할 정확도를 향상시키기 위해.
• 전체 이미지를 동일한 척도로 일률적으로 리사이징하는 대신, 다양한 이미지 영역을 서로 다른 척도로 처리함으로써 계산 낭비를 줄이기 위해.
• 고정 척도 특징 추출이나 사전 정의된 제안 없이도 종단간(scale-adaptive) 분할을 가능하게 하기 위해.

제안 방법

• HAZN은 완전 컨volution 신경망(FCN) 기반의 두 개의 순차적 Auto-Zoom 넷(AZNs)을 사용하여 객체 및 부위의 위치와 척도를 예측한다.
• 첫 번째 AZN은 객체 인스턴스를 검출하고 신뢰도 점수와 함께 바운딩 박스를 추정한 후, 이중선형 보간 또는 다운샘플링을 통해 고정된 척도로 리사이징한다.
• 두 번째 AZN은 리사이징된 객체 영역에 적용되어 부위 수준의 바운딩 박스를 예측하고 적절한 척도에서 부위 점수 맵을 정밀화한다.
• 최종 FCN은 줌 인된 부위 영역을 처리하여 정밀화된 고해상도 부위 세그멘테이션 맵을 생성한다.
• 다양한 해상도 수준에서의 척도 적응형 특징 학습을 활용하여 척도 추정과 분할을 동시에 최적화한다.
• 전체 이미지의 전역 리사이징을 피하고 관련성 있는 척도 최적화 영역에만 계산을 집중함으로써 효율성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 척도 추정은 크기 및 위치 변동성이 큰 객체의 부위 분할 성능을 향상시킬 수 있는가?
• RQ2 객체에 대해 줌 인한 다음 부위에 대해 다시 줌 인하는 계층적 줌 인 전략이 고정 척도 방법보다 더 나은 경계 및 부위 세부 정보 복원을 이끌 수 있는가?
• RQ3 제안된 방법은 인간을 초월하여 말, 소와 같은 관절이 있는 다른 동물에게도 일반화 가능한가?
• RQ4 척도 적응은 일반적으로 어려운 작은 객체 및 작은 부위에 대해 성능에 어떤 영향을 미치는가?

주요 결과

• HAZN은 인간 분할을 위한 PASCAL-Person-Part 데이터셋에서 최신 기술 대비 평균 교차율(mIOU)을 5% 향상시켰다.
• 작은 척도의 인간 인스턴스에 대해 기준 모델보다 뚜렷하게 뛰어난 성능을 보이며, 하체나 하지와 같은 세부 구조를 정확히 복원했다.
• 말과 소 데이터셋에서 HAZN은 이전 최신 기술 대비 mIOU를 약 5% 향상시켰으며, 꼬리나 머리와 같은 작은 부위에 대해선 10% 이상의 향상률을 기록했다.
• 시각적 결과에서는 복잡한 자세나 가림 상황에서도 경계가 더 명확하고 배경 또는 인접한 부위와의 국소적 혼동이 감소한 것으로 나타났다.
• 전체 이미지를 단일 척도로 처리하는 대신 관련 영역에만 척도 적응을 적용함으로써 계산 낭비를 효과적으로 줄였다.