[논문 리뷰] Scene Labeling with Contextual Hierarchical Models

Mojtaba Seyedhosseini, Tolga Taşdizen|arXiv (Cornell University)|2014. 02. 04.

Advanced Neural Network Applications참고 문헌 62인용 수 5

한 줄 요약

이 논문은 다중 해상도 이미지 입력을 기반으로 하부 분류기의 계층적 조합을 통해 후행 확률을 최적화하는 맥락적 계층 모델(CHM)을 제안한다. 형태 모델이나 조각을 사용하지 않고 다중 해상도 맥락적 특징을 활용함으로써, 장면 레이블링, 에지 검출, 생물의학적 세포막 분할 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Scene labeling is the problem of assigning an object label to each pixel. It unifies the image segmentation and object recognition problems. The importance of using contextual information in scene labeling frameworks has been widely realized in the field. We propose a contextual framework, called contextual hierarchical model (CHM), which learns contextual information in a hierarchical framework for scene labeling. At each level of the hierarchy, a classifier is trained based on downsampled input images and outputs of previous levels. Our model then incorporates the resulting multi-resolution contextual information into a classifier to segment the input image at original resolution. This training strategy allows for optimization of a joint posterior probability at multiple resolutions through the hierarchy. Contextual hierarchical model is purely based on the input image patches and does not make use of any fragments or shape examples. Hence, it is applicable to a variety of problems such as object segmentation and edge detection. We demonstrate that CHM outperforms state-of-the-art on Stanford background and Weizmann horse datasets. It also outperforms state-of-the-art edge detection methods on NYU depth dataset and achieves state-of-the-art on Berkeley segmentation dataset (BSDS 500).

연구 동기 및 목표

• 장기적이고 다중 척도의 맥락 정보를 장면 레이블링에 통합하면서도 계산의 타당성을 유지하는 데 도전한다.
• 계층적 분류기의 한계를 극복하여 다중 척도 처리 기능이 없고, 다양한 해상도 간의 공동 후행 확률 최적화가 불가능한 문제를 해결한다.
• 형태 예시나 객체 모델이 필요 없이 다양한 작업(예: 이미지 분할, 에지 검출, 생물의학 영상 분석 등)에 적용 가능한 일반적인 레이블링 프레임워크를 개발한다.
• 다중 해상도에서 순차적으로 분류기를 훈련시켜 복잡성을 감소시키면서도 맥락 정확도를 유지함으로써 효율적인 훈련과 추론을 가능하게 한다.
• 계층적 정밀화를 통해 대규모 맥락 창문을 내재적으로 모델링함으로써 복잡한 후처리 기법에 대한 의존도를 최소화한다.

제안 방법

• 하향식으로 점점 더粗한 해상도에서 이뤄지는 이진 분류기를 훈련시키며, 이전 단계의 출력 결과를 맥락적 특징으로 사용한다.
• 그리디한 계층적 방식으로 각 해상도 수준에서 공동 후행 확률을 최적화함으로써 다중 척도 맥락 추론이 가능해진다.
• 사전 정의된 형태 조각, 객체 모델, 또는 분할 제안을 기반으로 하지 않고 이미지 패치를 입력 특징으로 사용한다.
• 다중 해상도 예측 결과를 원본 해상도에서 최종 분류기에 통합하여 고정밀도의 픽셀 단위 레이블링을 생성한다.
• 에지/비에지로 간주하는 이진 분류 작업으로서 동일한 프레임워크를 의미적 장면 레이블링과 에지 검출에 모두 적용한다.
• 계층적 구조를 활용해 점차적으로 효과적 수신 영역을 확장함으로써 국소적 및 전역적 맥락을 효율적으로 포착한다.

실험 결과

연구 질문

• RQ1 다중 해상도에서 후행 확률을 최적화하는 계층적 프레임워크는 단일 척도 또는 비계층적 방법에 비해 장면 레이블링 정확도를 향상시킬 수 있는가?
• RQ2 패치 기반, 조각 없이 설계된 모델이 분할 및 에지 검출을 포함한 다양한 비전 작업에서 최신 기술 수준의 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ3 생물의학적 영상 분할 작업에서 딥 뉴럴 네트워크(DNNs, ConvNets)와 비교해 CHM 프레임워크는 성능과 훈련 효율성 측면에서 어떻게 비교되는가?
• RQ4 맥락 정보의 계층적 모델링은 장면 레이블링 파이프라인에서 CRF와 같은 복잡한 후처리 기법의 필요성을 줄일 수 있는가?
• RQ5 형태 모델이나 예시가 없는 것이 CHM의 일반화 능력을 제한하는가, 아니면 다양한 데이터셋에 대한 적용 가능성 향상에 기여하는가?

주요 결과

• CHM는 Stanford Background 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들을 압도한다.
• Weizmann Horse 데이터셋에서 CHM는 뛰어난 분할 정확도를 달성하여 잘못된 양성 결과를 효과적으로 줄이고 예측 마스크의 작은 간극을 메운다.
• NYU Depth (v2) 데이터셋에서의 에지 검출 작업에서 CHM는 기존 최신 기술 수준의 에지 검출 방법을 능가하며, 실제 깊이 영상에 대한 강력한 일반화 능력을 보여준다.
• Berkeley Segmentation Dataset (BSDS500)에서 CHM는 에지 검출 분야에서 최신 기술 수준의 성능을 달성하여 다양한 영상 도메인에서의 효과성을 확인한다.
• 생물의학적 응용 분야에서 CHM는 ISBI 2012 Drosophila VNC 챌린지 테스트 세트에서 픽셀 오차 0.063을 기록했으며, 이는 인간 레이블링 오차(0.066)를 뛰어넘고, 85시간의 GPU 훈련이 필요한 딥 네트워크를 초월한다.
• CHM는 CPU에서 30시간 내로 훈련이 가능하여 딥 네트워크가 요구하는 85시간의 GPU 훈련에 비해 훨씬 빠르며, 높은 정확도를 유지하면서도 효율성을 입증한다.