[논문 리뷰] Straight to Shapes: Real-time Detection of Encoded Shapes

Saumya Jetley, Michael Sapienza외 2명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 34인용 수 5

한 줄 요약

이 논문은 학습된 압축되고 복호 가능한 형태 임베딩 공간을 사용하여 실시간으로 객체의 형태, 카테고리, 바운딩 박스를 직접 회귀하는 딥러닝 프레임워크를 제안한다. 형태를 임bedding하는 데 사용되는 단일 스위프트 엔드 투 엔드 네트워크를 노이즈 제거 오토인코더로 훈련시킴으로써, 고성능 데스크톱에서 35 FPS의 성능을 달성하고, 형태 유사도를 활용하여 예측하지 않은 카테고리로의 일반화를 이룩하며, 제로샷 형태 검출에서 최신 기술을 능가한다.

ABSTRACT

Current object detection approaches predict bounding boxes, but these provide little instance-specific information beyond location, scale and aspect ratio. In this work, we propose to directly regress to objects' shapes in addition to their bounding boxes and categories. It is crucial to find an appropriate shape representation that is compact and decodable, and in which objects can be compared for higher-order concepts such as view similarity, pose variation and occlusion. To achieve this, we use a denoising convolutional auto-encoder to establish an embedding space, and place the decoder after a fast end-to-end network trained to regress directly to the encoded shape vectors. This yields what to the best of our knowledge is the first real-time shape prediction network, running at ~35 FPS on a high-end desktop. With higher-order shape reasoning well-integrated into the network pipeline, the network shows the useful practical quality of generalising to unseen categories similar to the ones in the training set, something that most existing approaches fail to handle.

연구 동기 및 목표

• 바운딩 박스 검출이 제공하는 형태 정보가 최소임에 따른 한계를 해결하기 위해, 객체의 형태로 직접 회귀할 수 있도록 하는 것.
• 형태 비교 및 자세, 부분 가림, 유사도에 대한 추론을 지원하는 압축되고 복호 가능하며 연속적인 형태 임베딩 공간을 개발하는 것.
• 학습된 임베딩 공간 내에서 형태 유사도를 활용하여 예측하지 않은 객체 카테고리로의 제로샷 일반화를 가능하게 하는 것.
• 기존의 상향식/하향식 파이프라인에서 발생하는 순차적 오류 누적 문제를 해결하고, 형태 예측에서 실시간 성능(35 FPS)을 달성하는 것.
• 형태 추론을 검출 파이프라인에 직접 통합하여 겹치는 또는 작은 인스턴스의 마스크 정확도를 향상시키는 것.

제안 방법

• 이진 인스턴스 마스크에 대해 훈련된 노이즈 제거 컨volution 오토인코더를 사용하여 저차원, 압축되고 복호 가능한 형태 임베딩 공간을 학습한다.
• 오토인코더의 디코더를 고속 엔드 투 엔드 딥 컨volution 네트워크에 통합하여 이미지 패치에서 형태 벡터를 직접 회귀한다.
• 카테고리, 바운딩 박스, 형태 임베딩 벡터를 동시에 회귀하는 데 사용되는 통합 손실 함수로 네트워크를 엔드 투 엔드로 훈련한다.
• 형태 임베딩 공간은 연속적이고 해석 가능하도록 설계되어 있어, 형태 간의 부드러운 열화와 의미 있는 비교를 가능하게 한다.
• 아키텍처는 단일 전방 전파(순차적 후처리 없음)를 사용하여 고성능 데스크톱에서 35 FPS의 실시간 추론을 가능하게 한다.
• 논문은 Pascal VOC과 MS-COCO에서 평가되었으며, 예측하지 않은 카테고리에 대한 제로샷 일반화는 훈련 세트에 포함되지 않은 60개의 COCO 카테고리에서 테스트되었다.

실험 결과

연구 질문

• RQ1 단일 전방 전파를 통해 실시간 성능을 달성하면서도, 객체의 형태, 카테고리, 바운딩 박스를 직접 회귀할 수 있는 딥 네트워크를 훈련시킬 수 있는가?
• RQ2 압축된 형태 임베딩 공간이 유사한 형태를 가진 예측하지 않은 카테고리로의 제로샷 일반화에 얼마나 효과적인가?
• RQ3 형태 임베딩이 명시적인 속성 정의 없이도 자세 변화, 부분 가림, 시야 유사도와 같은 고차원 추론을 지원할 수 있는가?
• RQ4 형태 회귀가 검출, 세분화, 분류를 조합한 순차적 파이프라인과 비교할 때 정확도와 강건성 측면에서 어떻게 다른가?
• RQ5 형태 기반 일반화가 예측하지 않은 객체 클래스에서 잘못된 카테고리 예측를 보완하는 데 얼마나 효과적인가?

주요 결과

• 제안된 방법은 최고의 저자들에 따르면, 고성능 데스크톱에서 35 FPS를 달성하여 실시간 형태 예측 네트워크로서 최초의 사례이다.
• PASCAL SBD 2012 검증 세트에서 50D 형태 임베딩 모델은 30.5 mAP r @.5를 기록하여, 바이너리 마스크 및 레이디얼 벡터 베이스라인을 능가한다.
• 20D 형태 임베딩 버전은 31.5 mAP r @.5를 기록하여, 더 작은 임베딩 공간이라도 강력한 성능을 유지함을 보여준다.
• MS-COCO의 8,037장의 이미지에서 60개의 예측하지 않은 카테고리에 대해 제로샷 세분화를 수행한 결과, 50D 임베딩 모델은 큰 객체에 대해 7.1 mAP r @.5를 기록하여 강력한 기준선을 설정했다.
• 네트워크는 효과적으로 일반화된다: 예측하지 않은 동물인 호랑이와 곰은 '개'로 분류되지만, 타당한 형태 마스크를 생성하여 강력한 형태 추론 능력을 보여준다.
• 특히 겹치는 또는 작은 인스턴스와 예측하지 않은 카테고리 처리에서 최신 기술의 인스턴스 세분화 모델을 능가한다.