[논문 리뷰] Hypercolumns for Object Segmentation and Fine-grained Localization

Bharath Hariharan, Pablo Arbeláez외 2명|arXiv (Cornell University)|2014. 11. 21.

Advanced Neural Network Applications참고 문헌 36인용 수 21

한 줄 요약

이 논문은 각 픽셀에서 컨volutional 신경망(CNN)의 모든 레이어에서 추출한 특징을 연결한 '하이퍼컬럼 표현'을 도입하여 세분화된 국소화 성능을 향상시킨다. 초기 레이어의 공간 정밀도와 깊은 레이어의 의미론적 풍부함을 결합함으로써, 이 방법은 최신 기술 수준의 성능을 달성한다: 동시 검출 및 세분화 작업에서 60.0의 평균 mAP, 키포인트 국소화에서 APK가 3.3포인트 향상되었고, 상위 레이어 특징 대비 부위 레이블링에서 6.6포인트 향상되었다.

ABSTRACT

Recognition algorithms based on convolutional networks (CNNs) typically use the output of the last layer as feature representation. However, the information in this layer may be too coarse to allow precise localization. On the contrary, earlier layers may be precise in localization but will not capture semantics. To get the best of both worlds, we define the hypercolumn at a pixel as the vector of activations of all CNN units above that pixel. Using hypercolumns as pixel descriptors, we show results on three fine-grained localization tasks: simultaneous detection and segmentation[22], where we improve state-of-the-art from 49.7[22] mean AP^r to 60.0, keypoint localization, where we get a 3.3 point boost over[20] and part labeling, where we show a 6.6 point gain over a strong baseline.

연구 동기 및 목표

• 최종 레이어의 특징만을 사용할 경우 의미론적 정보는 풍부하지만 공간 정밀도가 손실된다는 한계를 해결하기 위해.
• 얕은 레이어의 공간 세부 정보와 깊은 레이어의 의미론적 분류 능력을 결합하기 위해.
• 픽셀 단위의 하이퍼컬럼 기반 기술자를 활용한 세분화된 국소화 작업을 위한 통합 프레임워크를 개발하기 위해.
• 하이퍼컬럼을 통한 다중 수준 특징 융합이 세분화, 키포인트 예측, 부위 레이블링 작업에서 성능 향상에 크게 기여함을 입증하기 위해.
• 다양한 국소화 작업을 위한 엔드 투 엔드 훈련이 가능한 신경망을 하이퍼컬럼을 픽셀 수준의 특징으로 사용하여 개발하기 위해.

제안 방법

• 하이퍼컬럼을 픽셀에서 위에 있는 모든 CNN 레이어의 활성화 반응을 연결하여 정의함으로써, 다층적이고 다중 스케일의 특징 벡터를 생성한다.
• 하이퍼컬럼을 세분화 및 부위 레이블링과 같은 픽셀 단위 분류 작업의 픽셀 기반 기술자로 사용한다.
• 하이퍼컬럼을 입력 특징으로 사용하는 완전 컨volutional 네트워크를 훈련시켜 backpropagation를 통한 엔드 투 엔드 최적화를 가능하게 한다.
• 검출 성능 향상을 위해 바운딩 박스 회귀 및 미세조정(finetuning)을 적용한다.
• 키포인트 예측을 위해 히트맵 회귀를 사용하며, 점수는 검출 신뢰도와 키포인트 신뢰도를 모두 고려한다.
• 표준 평가 지표를 사용하여 성능을 평가한다: 검출 작업에서는 평균 mAP, 키포인트 국소화에서는 APK, 부위 레이블링에서는 APr_part를 사용한다.

실험 결과

연구 질문

• RQ1 CNN의 여러 레이어에서 추출한 특징을 융합하면, 최종 레이어만 사용할 경우보다 국소화 정확도가 향상될 수 있는가?
• RQ2 다중 수준 특징을 융합한 하이퍼컬럼 표현이 세분화된 국소화 작업에서 상위 레이어 특징보다 우월한가?
• RQ3 하이퍼컬럼은 동시 검출 및 세분화, 키포인트 국소화, 부위 레이블링 작업에서 어느 정도 성능 향상을 이끌 수 있는가?
• RQ4 하이퍼컬럼을 사용하는 통합 딥 러닝 프레임워크는 다양한 국소화 작업을 위해 엔드 투 엔드로 훈련될 수 있는가?
• RQ5 최종 완전 연결 레이어에만 의존하는 것과 비교해 중간 레이어 특징을 포함할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• 하이퍼컬럼 방법은 동시 검출 및 세분화 작업에서 평균 mAP를 49.7에서 60.0으로 향상시켜 새로운 최신 기술 수준을 수립했다.
• 키포인트 예측 작업에서 이전 최신 기술 수준 대비 APK가 3.3포인트 향상되었으며, 추가로 미세조정을 통해 1.5포인트의 추가 향상도 달성했다.
• 부위 레이블링 작업에서 하이퍼컬럼 기반 시스템은 fc7 특징만을 사용하는 강력한 베이스라인 대비 모든 카테고리 평균 6.6포인트 향상되었다.
• 미세조정 없이도 하이퍼컬럼 사용으로 상당한 성능 향상이 이루어졌으며, 하이퍼컬럼을 사용하는 기본 시스템이 HOG 기반 방법보다도 성능이 뛰어났다.
• 모든 평가된 작업에서 일관된 성능 향상이 나타났으며, 이는 다중 수준 특징 융합이 국소화 정밀도를 향상시킨다는 것을 확인시켰다.
• 시각화 결과 하이퍼컬럼이 공간적 구조와 의미론적 정보를 모두 포착함으로써 정확한 픽셀 단위 예측이 가능하다는 점을 확인했다.