[논문 리뷰] Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers

Clément Farabet, Camille Couprie외 2명|arXiv (Cornell University)|2012. 02. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 135

한 줄 요약

이 논문은 다중 척도 컨볼루션 특징, 픽셀 간 이질성에서 구축한 세그멘테이션 트리, 그리고 순수한 세그먼트를 선택하기 위한 최적 커버 알고리즘을 사용하는 빠르고 엔드 투 엔드의 장면 해석 시스템을 제안한다. 이는 스탠포드 배경(79.5% 픽셀당), SIFT 플로우(78.5%), 바르셀로나(67.8%) 데이터셋에서 최신 기술 수준의 정확도를 달성하면서 320×240 이미지를 1초 이내로 처리한다.

ABSTRACT

Scene parsing, or semantic segmentation, consists in labeling each pixel in an image with the category of the object it belongs to. It is a challenging task that involves the simultaneous detection, segmentation and recognition of all the objects in the image. The scene parsing method proposed here starts by computing a tree of segments from a graph of pixel dissimilarities. Simultaneously, a set of dense feature vectors is computed which encodes regions of multiple sizes centered on each pixel. The feature extractor is a multiscale convolutional network trained from raw pixels. The feature vectors associated with the segments covered by each node in the tree are aggregated and fed to a classifier which produces an estimate of the distribution of object categories contained in the segment. A subset of tree nodes that cover the image are then selected so as to maximize the average "purity" of the class distributions, hence maximizing the overall likelihood that each segment will contain a single object. The convolutional network feature extractor is trained end-to-end from raw pixels, alleviating the need for engineered features. After training, the system is parameter free. The system yields record accuracies on the Stanford Background Dataset (8 classes), the Sift Flow Dataset (33 classes) and the Barcelona Dataset (170 classes) while being an order of magnitude faster than competing approaches, producing a 320 \ imes 240 image labeling in less than 1 second.

연구 동기 및 목표

• 다중 척도 문맥적 특징을 활용하여 의미 분할에서 동시에 탐지, 세그멘테이션, 인식을 수행하는 과제를 해결한다.
• 손으로 설계한 특징을 제거하기 위해 원시 픽셀에서부터 엔드 투 엔드로 컨볼루션 네트워크를 훈련시킨다.
• 최적 커버 알고리즘을 사용해 세그먼트 순수도를 최대화하는 트리 노드의 부분집합을 선택함으로써 세그멘테이션의 일관성을 향상시킨다.
• 계층적 세그멘테이션과 효율적인 특징 집계 및 분류의 조합을 통해 높은 정확도와 빠른 속도를 달성한다.

제안 방법

• 원시 입력 이미지에서 다중 척도 대비 보정이 된 라플라시안 피라미드를 구성하여 다양한 공간적 맥락을 포착한다.
• 각 피라미드 척도에 대해 이중 단계 컨볼루션 네트워크를 적용하여, 각 픽셀에 대해 업샘플링하고 연결된 밀도 있는 다중 척도 특징 맵을 생성한다.
• 이웃 픽셀 간 색상 기반 이질성으로 표현되는 간선을 가진 픽셀 이질성 그래프의 최소 스패닝 트리를 통해 세그멘테이션 트리를 구축한다.
• 각 트리 노드 내 특징 벡터를 5×5 공간 격자에 집계하고, 성분별 최대 풀링을 적용하여 척도 불변의 세그먼트 표현을 생성한다.
• 집계된 특징 격자에 분류기를 훈련시어 각 세그먼트의 클래스 분포(따라서 엔트로피 기반의 불순도)를 추정한다.
• 평균 세그먼트 불순도(엔트로피)를 최소화하는 탐욕 알고리즘을 사용해 트리 노드의 최적 커버를 선택함으로써 전역적으로 일관되고 순수한 세그멘테이션을 생성한다.

실험 결과

연구 질문

• RQ1 원시 픽셀에서부터 엔드 투 엔드로 훈련된 다중 척도 컨볼루션 네트워크가 수작업으로 설계된 특징 없이도 장면 해석에 효과적인 특징을 생성할 수 있는가?
• RQ2 픽셀 간 이질성에서 유도된 세그멘테이션 트리가 정확한 의미 레이블링을 지원할 수 있는 의미 있는 이미지 세그먼트를 인코딩할 수 있는가?
• RQ3 세그먼트 불순도(엔트로피)를 최소화하는 기반의 최적 커버가 기존의 그래프 컷과 같은 추론 방법보다 더 나은 세그멘테이션 일관성을 제공하는가?
• RQ4 다중 척도 특징, 트리 기반 세그멘테이션, 순수성 기반 커버 선택의 조합이 최신 기술 수준의 정확도를 달성하면서도 1초 이내의 추론 속도를 유지할 수 있는가?

주요 결과

• 스탠퍼드 배경 데이터셋에서 시스템은 픽셀당 79.5%의 정확도와 평균 클래스당 74.3%의 정확도를 달성하여 이전 방법들을 능가했다.
• SIFT 플로우 데이터셋에서, 이 방법은 균형 잡힌 클래스 샘플링을 사용해 픽셀당 78.5%의 정확도를 기록했으며, 소형 객체 인식이 크게 향상되었다.
• 170개 클래스를 포함한 바르셀로나 데이터셋에서, 균형 잡힌 샘플링을 사용했을 때 픽셀당 67.8%의 정확도를 달성하여 고클래스 복잡도에 대한 강건성을 입증했다.
• 표준 CPU에서 320×240 이미지의 추론 시간이 1초 미만이었으며, 경쟁 기술들보다 약 10배 빠르게 처리했다.
• 훈련 후 시스템은 추론 시 임계값 조정이나 하이퍼파라미터 조정이 필요 없는 파라미터 없는 상태였다.
• 빈도 기반 균형 샘플링은 희귀 클래스의 인식을 향상시켰지만 전체 픽셀 정확도를 감소시켜 전반적 성능과 클래스별 성능 사이의 상충 관계를 드러냈다.