[논문 리뷰] Multi-Path Feedback Recurrent Neural Network for Scene Parsing

Xiaojie Jin, Yunpeng Chen외 3명|arXiv (Cornell University)|2016. 08. 27.

Advanced Neural Network Applications참고 문헌 28인용 수 13

한 줄 요약

이 논문은 다중 가중치 반복 연결을 통해 상위 레이어에서 하위 레이어로 고수준의 장거리 맥락 정보를 전파함으로써 장거리 맥락 모델링을 향상시켜 장면 해석 성능을 향상시키기 위해 다중 경로 피드백 순환 신경망(MPF-RNN)을 제안한다. 여러 시간 단계에서의 특징을 융합하고 누적 손실 전략을 사용함으로써, ADE20K를 포함한 다섯 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ResNet101-Baseline 대비 ADE20K에서 2.78%p의 절대적인 mIOU 향상을 기록하였다.

ABSTRACT

In this paper, we consider the scene parsing problem and propose a novel Multi-Path Feedback recurrent neural network (MPF-RNN) for parsing scene images. MPF-RNN can enhance the capability of RNNs in modeling long-range context information at multiple levels and better distinguish pixels that are easy to confuse. Different from feedforward CNNs and RNNs with only single feedback, MPF-RNN propagates the contextual features learned at top layer through extit{multiple} weighted recurrent connections to learn bottom features. For better training MPF-RNN, we propose a new strategy that considers accumulative loss at multiple recurrent steps to improve performance of the MPF-RNN on parsing small objects. With these two novel components, MPF-RNN has achieved significant improvement over strong baselines (VGG16 and Res101) on five challenging scene parsing benchmarks, including traditional SiftFlow, Barcelona, CamVid, Stanford Background as well as the recently released large-scale ADE20K.

연구 동기 및 목표

• 깊은 CNN에서의 제한된 장거리 맥락 모델링 문제를 해결함으로써, 장면 해석에서 모호한 픽셀을 구분하는 데 기여한다.
• 단일 피드백 RNN과 피드포워드 CNN의 한계를 극복하여, 특징 학습 과정에서 고수준 맥락 정보가 하위 레이어로 전파되지 못하는 문제를 해결한다.
• 다양한 반복 단계를 통한 맥락 정보 통합과 학습 중 누적 손실 전략을 적용하여 소형 객체의 구분 능력을 향상시킨다.
• ADE20K와 같은 다양한 대규모 장면 해석 데이터셋에서 제안된 방법의 확장성과 강건성을 입증한다.
• 다중 은닉 레이어의 학습 과정에 전역 맥락을 명시적으로 통합하는 새로운 아키텍처를 개발하여 특징 표현 능력을 향상시킨다.

제안 방법

• 상위 레이어 출력에서 다수의 중간 합성곱 레이어(예: conv4_1, conv4_9 등)에 이르기까지 다중 가중치 반복 연결을 구축하여 고수준 맥락 특징을 하향 방향으로 전파한다.
• 다단계 피드백 메커니즘을 사용하여 각 반복 시간 단계에서의 특징을 융합하여 최종 픽셀 분류를 수행함으로써 특징의 구분 능력을 향상시킨다.
• 모든 반복 단계에서의 손실을 누적하여 특징 학습을 보다 효과적으로 감독하는 누적 손실 전략을 도입한다. 특히 소형 객체에 대한 학습에 유리하다.
• 백본(예: ResNet101)에서 다이어티드 컨볼루션과 디컨볼루션 레이어를 적용하여 고밀도 공간 해상도를 유지하고 전체 해상도의 세그멘테이션 맵을 생성한다.
• 표준 최적화 기법을 사용하여 데이터 증강(임의의 크롭 및 플립)을 적용하고, 검증 세트를 활용해 하이퍼파라미터를 미세 조정한다.
• 다단계 출력의 융합은 최종 분류 이전에 요소별 연결 또는 가중치 합산을 통해 수행되어 더 бог enriched된 맥락 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 상위 레이어에서 다수의 은닉 레이어로 향하는 다중 피드백 경로가 단일 피드백 RNN에 비해 장면 해석에서 맥락 모델링을 크게 향상시키는가?
• RQ2 다양한 반복 시간 단계에서의 특징 융합이 소형 또는 모호한 객체에 대해 더 나은 의미적 구분 능력을 제공하는가?
• RQ3 제안된 MPF-RNN 아키텍처가 VGG16 및 ResNet101과 같은 강력한 베이스라인을 초월하여 다양한 어려운 장면 해석 벤치마크에서 성능을 뛰어나게 하는가?
• RQ4 누적 손실 전략이 복잡한 환경에서 소형 객체의 특징 학습에 어떤 영향을 미치는가?
• RQ5 ADE20K와 같이 150개의 카테고리가 포함된 대규모 고해상도 데이터셋에서 MPF-RNN의 확장성과 효과성은 어느 정도인가?

주요 결과

• ADE20K 검증 세트에서 MPF-RNN은 mIOU 34.63%를 기록하여 ResNet101-Baseline 대비 1.98%p 향상되었고, PA 대비 2.78%p 향상되었다.
• CamVid 데이터셋에서 MPF-RNN은 92.8% 픽셀 정확도와 82.3% 클래스 정확도를 달성하여 최신 기술 수준의 방법보다 각각 1%p와 4%p 높았다.
• Barcelona 데이터셋에서 MPF-RNN은 78.5% 픽셀 정확도와 29.3% 클래스 정확도를 기록하여 최신 기술 수준을 약 4%p와 5%p 초월하였다.
• Stanford Background 데이터셋에서 MPF-RNN은 86.6% 픽셀 정확도와 79% 클래스 정확도를 기록하여 이전 최신 기술 수준 대비 각각 3%p와 5%p의 절대적 향상을 기록하였다.
• SiftFlow 데이터셋에서 MPF-RNN은 mIOU 86.4%와 76.3%를 기록하여 VGG16 및 ResNet101 베이스라인을 크게 앞서며, 다양한 데이터셋에서 일관된 성능 향상을 입증하였다.
• 제거 실험 결과 다중 경로 피드백과 다단계 특징 융합이 모두 필수적임을 확인하였으며, 특히 소형 객체 해석에 있어 누적 손실 전략이 핵심 요소임을 입증하였다.