[논문 리뷰] Neuron-level Selective Context Aggregation for Scene Segmentation

Zhenhua Wang, Fanglin Gu외 4명|arXiv (Cornell University)|2017. 11. 22.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 복잡한 시나리오에서의 시각적 유사성으로 인한 오분류 문제를 완화하기 위해, 입력 이미지에 따라 동적으로 학습하고 적용하는 이미지 기반의 문맥적 종속성에 기반한 뉴런 수준의 선택적 문맥 집합(Scale Context Aggregation, SCA) 모듈을 제안한다. 이 방법은 각 뉴런 수준에서 국소적 특징에 전역적으로 관련된 문맥을 선택적으로 통합함으로써, 스킵 연결이나 순차적 처리 없이도 Pascal VOC 및 COCO Stuff 데이터셋에서 강력한 기준 모델을 초월하는 성능 향상을 달성한다.

ABSTRACT

Contextual information provides important cues for disambiguating visually similar pixels in scene segmentation. In this paper, we introduce a neuron-level Selective Context Aggregation (SCA) module for scene segmentation, comprised of a contextual dependency predictor and a context aggregation operator. The dependency predictor is implicitly trained to infer contextual dependencies between different image regions. The context aggregation operator augments local representations with global context, which is aggregated selectively at each neuron according to its on-the-fly predicted dependencies. The proposed mechanism enables data-driven inference of contextual dependencies, and facilitates context-aware feature learning. The proposed method improves strong baselines built upon VGG16 on challenging scene segmentation datasets, which demonstrates its effectiveness in modeling context information.

연구 동기 및 목표

• 딥 컨볼루션 신경망에서 고정된 비적응형 문맥 집합 방식의 한계를 해결하기 위해.
• 특징 맵 내 뉴런 간의 문맥 종속성을 데이터 기반으로 입력에 따라 적응적으로 추론할 수 있도록 하기 위해.
• 국소적 특징에 관련된 전역 문맥을 선택적으로 보강함으로써 의미 분할 정확도를 향상시키기 위해.
• 기존 RNN 기반 문맥 모델링의 기울기 소실 및 순차적 의존성 문제를 피하면서도, 순차 처리가 가능하고 기울기 역전파가 가능한 피드포워드 방식의 대안을 설계하기 위해.

제안 방법

• SCA 모듈은 입력 특징에 기반해 뉴런 간 종속성 계수를 예측하는 보조 네트워크인 문맥 종속성 예측기(Contextual Dependency Predictor, CDP)와, 이로 예측된 계수를 이용해 각 뉴런에서 전역 특징을 가중 평균적으로 융합하는 문맥 집합 연산자로 구성된다.
• 종속성 계수는 입력 이미지 당 실시간으로 예측되며, 이로 인해 네트워크는 각 뉴런이 관련된 영역에 대해 적응적으로 집중할 수 있다.
• CDP는 추가적인 지도 학습 없이 주 분류 네트워크와 함께 엔드 투 엔드 백프로파게이션을 통해 공동으로 학습된다.
• 모듈은 복소화 전 최종 컨볼루션 레이어에 적용되어, 최종 예측 이전에 특징 맵을 강화한다.
• 스킵 연결이나 RNN 방식의 순차적 업데이트를 피함으로써, 효율적인 병렬 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문맥 집합이 사전 정의된 고정된 방식이 아니라, 입력 이미지의 내용에 따라 적응적으로 이루어질 수 있는가?
• RQ2 학습 가능한, 뉴런별로 특화된 종속성 메커니즘이 고정된 글로벌 풀링이나 확장 컨볼루션을 넘어서 의미 분할 성능 향상에 기여할 수 있는가?
• RQ3 순차 처리가 불필요한 피드포워드 방식의 미분 가능한 모듈이 RNN 기반 문맥 모델링을 대체하면서도 장거리 종속성을 유지하고 효율성을 향상시킬 수 있는가?
• RQ4 선택적이고 동적인 문맥 주입이 복잡한 시나리오에서 시각적으로 유사한 픽셀 간의 모호성을 해소하는 데 기여하는가?

주요 결과

• 제안된 SCA 모듈은 Pascal VOC 및 COCO Stuff 데이터셋에서 PPA 및 CAA 측면에서 모든 CNN 기반 방법을 능가하며, COCO Stuff에서 61.6%의 PPA와 42.5%의 CAA를 기록했다.
• Pascal VOC에서 이 방법은 62.1%의 mIoU를 달성하여, 스킵 연결을 사용하지 않음에도 불구하고 모든 CNN 기반 모델을 초월하고, RNN 기반의 DAG-RNN과 경쟁 가능한 성능을 보였다.
• 특히 버스나 경기장 등 어려운 분류 사례에서 기준 모델 성능을 크게 향상시켰으며, 눈에 띄는 영역에서의 문맥 정보를 정확히 할당함으로써 정확도 향상을 이룬 것으로 분석되었다.
• 정성적 분석 결과, 종속성 예측기가 의미 있는 클래스 기반 문맥 패턴을 학습하고 있으며, 서로 다른 뉴런들이 서로 다른 문맥 영역에 주목하는 것으로 나타났다.
• CRF-RNN 및 DAG-RNN보다 PPA와 CAA 측면에서 더 뛰어난 성능을 기록함으로써, 순차 처리 없이도 강력한 문맥 모델링 능력을 확보하고 있음을 시사한다.