[논문 리뷰] Instance Search via Instance Level Segmentation and Feature Representation

Zhan Yu, Wan‐Lei Zhao|arXiv (Cornell University)|2018. 06. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 완전 컨volution형 인스턴스 인식 세그멘테이션(FCIS)과 ROI 풀링을 사용하여 분할된 인스턴스에서 균일한 길이의 딥 특징을 추출함으로써 인스턴스 검색을 위한 인스턴스 수준의 특징 표현을 제안한다. 변형 가능한 ResNeXt 블록으로 강화된 이 방법은 뛰어난 특징의 유일성과 확장성을 확보하여, 배경 변화가 심한 조건에서도 새로 구축된 Instance-160 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

Instance search is an interesting task as well as a challenging issue due to the lack of effective feature representation. In this paper, an instance level feature representation built upon fully convolutional instance-aware segmentation is proposed. The feature is ROI-pooled from the segmented instance region. So that instances in various sizes and layouts are represented by deep features in uniform length. This representation is further enhanced by the use of deformable ResNeXt blocks. Superior performance is observed in terms of its distinctiveness and scalability on a challenging evaluation dataset built by ourselves. In addition, the proposed enhancement on the network structure also shows superior performance on the instance segmentation task.

연구 동기 및 목표

• 기존의 전역 또는 국소적 특징이 배경 오염과 변환에 민감한 점을 해결하기 위해 인스턴스 검색에서 효과적인 특징 표현을 제공하는 것.
• 다양한 배경을 가진 대규모 참조 세트에서도 특징 표현이 뛰어난 유일성과 확장성을 유지할 수 있도록 하는 것.
• 이미지 수준 또는 군집된 영역 수준의 특징이 아닌 픽셀 수준의 인스턴스 세그멘테이션을 활용하여 인스턴스 정렬 및 특징 품질을 향상시키는 것.
• 인스턴스 검색 방법의 공정하고 도전적인 평가를 가능하게 하기 위해 새로운 벤치마크 데이터셋인 Instance-160을 구축하는 것.
• 복잡하고 혼잡한 환경에서 인스턴스 수준의 특징 학습이 이미지 수준 또는 영역 수준 표현보다 뛰어나다는 것을 입증하는 것.

제안 방법

• 완전 컨볼루션형 인스턴스 인식 세그멘테이션(FCIS)을 사용하여 개별 인스턴스의 픽셀 수준 마스크를 생성함으로써 정밀한 정렬을 가능하게 한다.
• FCIS 네트워크의 특징 맵에서 ROI 풀링을 통해 인스턴스 수준의 특징을 추출하여, 인스턴스 크기나 레이아웃에 관계없이 균일한 길이의 표현을 보장한다.
• FLOPs나 파라미터 수를 늘리지 않으면서도 특징 학습 능력을 향상시키기 위해 백본 네트워크를 ResNeXt-101으로 교체한다.
• 변형 가능한 컨볼루션 블록을 ResNeXt-101의 최종 단계에 통합하여 비정상적인 물체 형태에 적응적으로 수신장역할을 조정한다.
• 특징은 1,536차원 벡터로 표현되어 코사인 거리 기반의 효율적인 유사도 계산이 가능하다.
• 실제 조건에서의 인스턴스 검색 성능 평가를 위해 시각적 객체 추적 벤치마크 영상에서 새로운 데이터셋인 Instance-160을 구축한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 세그멘테이션에서 유도된 인스턴스 수준의 특징 표현이 이미지 수준 또는 영역 수준의 특징보다 인스턴스 검색 성능 향상에 기여하는가?
• RQ2 이미지 수준의 특징에 의존하는 기존 방법이 실패할 수 있는 심한 배경 변화 조건에서, 제안된 방법은 어떻게 성능을 유지하는가?
• RQ3 변형 가능한 컨볼루션 블록의 통합이 인스턴스 검색 및 세그멘테이션 작업의 특징 표현 향상에 어느 정도 기여하는가?
• RQ4 참조 세트가 100만 장의 이미지로 증가할 경우, 제안된 특징 표현의 확장성은 어떠한가?
• RQ5 추적 영상에서 구축된 새로운 벤치마크 데이터셋이 인스턴스 검색에 대해 더 현실적이고 도전적인 평가 환경을 제공할 수 있는가?

주요 결과

• Instance-160 벤치마크에서 제안된 FCIS+XD 방법은 top-100에서 평균 정밀도(mAP) 0.7366을 달성하여 Deepvision(DV-Vgg)보다 뚜렷한 성능 향상을 보였다.
• 심한 배경 변화 조건에서 Deepvision의 성능은 이미지 수준의 특징에 의존함으로써 급격히 저하되었지만, FCIS+XD는 높은 정확도를 유지하여 뛰어난 강건성을 입증했다.
• 배경 변화가 심한 40개의 쿼리에 대해 FCIS+XD의 mAP는 top-50에서 0.6467에 도달하여 배경 혼잡성에 대한 뛰어난 내성성을 확인했다.
• 100만 개의 간섭 이미지를 포함한 확장성 테스트에서 FCIS+XD는 top-50에서 가장 높은 mAP를 유지하며 Deepvision 및 기타 베이스라인을 꾸준히 능가했다.
• Deepvision가 특징 표현의 정밀도가 떨어져 인스턴스 바운딩 박스 정확도가 열 劣하므로, 이 방법은 더 정확한 인스턴스 바운딩 박스를 생성했다.
• 변형 가능한 컨볼루션 블록의 사용은 특징 표현을 향상시켜 인스턴스 검색 및 인스턴스 세그멘테이션 작업 양쪽에서 성능 향상을 이끌었다.