[논문 리뷰] Generator evaluator-selector net for panoptic image segmentation and splitting unfamiliar objects into parts

Sagi Eppel, Alán Aspuru‐Guzik|arXiv (Cornell University)|2019. 08. 24.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 패ノ픽 이미지 세그멘테이션을 위한 생성자-평가자-선택자 네트워크를 제안하며, 세그멘테이션 생성과 선택을 분리함으로써 미리 보지 않은 객체 카테고리의 클래스에 종속되지 않는 부분 수준 세그멘테이션을 가능하게 한다. 포인터 넷 기반 생성자와 별도의 평가자 네트워크를 사용하여 세그멘테이션을 순서대로 평가하고 선택함으로써, COCO 패노픽 및 새로운 객체 카테고리의 부분 분할을 재학습 없이도 효과적으로 달성한다.

ABSTRACT

In machine learning and other fields, suggesting a good solution to a problem is usually a harder task than evaluating the quality of such a solution. This asymmetry is the basis for a large number of selection oriented methods that use a generator system to guess a set of solutions and an evaluator system to rank and select the best solutions. This work examines the use of this approach to the problem of panoptic image segmentation and class agnostic parts segmentation. The generator/evaluator approach for this case consists of two independent convolutional neural nets: a generator net that suggests variety segments corresponding to objects, stuff and parts regions in the image, and an evaluator net that chooses the best segments to be merged into the segmentation map. The result is a trial and error evolutionary approach in which a generator that guesses segments with low average accuracy, but with wide variability, can still produce good results when coupled with an accurate evaluator. The generator consists of a Pointer net that receives an image and a point in the image, and predicts the region of the segment containing the point. Generating and evaluating each segment separately is essential in this case since it demands exponentially fewer guesses compared to a system that guesses and evaluates the full segmentation map in each try. The classification of the selected segments is done by an independent region-specific classification net. This allows the segmentation to be class agnostic and hence, capable of segmenting unfamiliar categories that were not part of the training set. The method was examined on the COCO Panoptic segmentation benchmark and gave results comparable to those of the basic semantic segmentation and Mask-RCNN methods. In addition, the system was used for the task of splitting objects of unseen classes (that did not appear in the training set) into parts.

연구 동기 및 목표

• 패노픽 세그멘테이션에서 익숙하지 않은 객체 카테고리를 부분 수준에서 세그멘테이션하는 도전 과제를 해결하기 위해.
• 일괄적으로 전체 세그멘테이션 맵을 생성하는 데 어려움을 극복하기 위해 생성과 평가를 분리함으로써, 한 번에 정확한 전체 세그멘테이션 맵을 생성하는 데 도움을 주기 위해.
• 클래스에 종속되지 않는 세그멘테이션 접근 방식을 통해, 훈련 중에 보지 않은 객체 카테고리의 제로샷 부분 수준 세그멘테이션을 가능하게 하기 위해.
• 다양한 풀에서 고품질 세그멘테이션을 선택하는 평가자 네트워크를 활용하여 세그멘테이션 생성의 강건성과 다양성을 향상시키기 위해.

제안 방법

• 포인터 넷 기반 생성자 네트워크는 이미지와 점을 입력으로 받아, 해당 점을 포함하는 세그멘테이션 마스크를 예측한다.
• 각 세그멘테이션은 독립적으로 생성되고 평가되며, 전체 맵 생성과 비교해 검색 공간을 지수적으로 줄인다.
• 평가자 네트워크는 세그멘테이션의 품질에 따라 순위를 매기고, 최종 세그멘테이션에 포함할 최상의 후보를 선택한다.
• 별도의 영역별 분류 네트워크는 선택된 세그멘테이션에 의미적 레이블을 할당하여, 클래스에 종속되지 않는 추론을 가능하게 한다.
• 추론 중에 훈련 중에 보지 않은 객체 카테고리의 부분을 생성하고 평가함으로써, 제로샷 부분 분할을 지원한다.
• 전체 세그멘테이션 맵의 엔드 투 엔드 학습을 피하고, 평가자로부터 피드백을 받는 시도-오류 진화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 생성자-평가자-선택 프레임워크는 유도적 편향을 줄임으로써 엔드 투 엔드 세그멘테이션 모델보다 패노픽 세그멘테이션에서 더 나은 성능을 낼 수 있는가?
• RQ2 클래스에 종속되지 않는 세그멘테이션 시스템은 추론 중에 훈련 중에 보지 않은 객체 카테고리로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 독립적인 세그멘테이션 생성과 평가가 세그멘테이션 출력의 강건성과 다양성에 얼마나 기여하는가?
• RQ4 이 프레임워크는 미세조정 없이도 새로운, 보지 않은 객체 카테고리를 의미 있는 부분들로 효과적으로 분할할 수 있는가?
• RQ5 분리된 접근 방식은 COCO 패노픽과 같은 표준 벤치마크에서 경쟁적인 성능을 유지하는가?

주요 결과

• 이 방법은 COCO 패노픽 벤치마크에서 최신 기술 수준의 세그멘테이션 및 마스크 R-CNN 방법과 비교해 유사한 성능을 달성한다.
• 시스템은 훈련 중에 보지 않은 카테고리의 객체를 성공적으로 세그멘테이션하고 분할하여 제로샷 일반화 능력을 입증한다.
• 별도의 평가자 네트워크를 사용함으로써, 저정확도이지만 다양한 예측을 내는 생성자 네트워크의 경우에도 고품질 세그멘테이션 선택이 가능하다.
• 세그멘테이션의 독립적 생성과 평가가 전체 세그멘테이션 맵 검색과 비교해 요구되는 추측 수를 크게 줄인다.
• 클래스에 종속되지 않음에도 불구하고 강력한 성능을 유지하여, 훈련 중에 보지 않은 카테고리에 대해서도 추론이 가능하다.
• 복잡한 세그멘테이션 작업에서 시도-오류 진화 전략의 효과성을 입증한다.