[논문 리뷰] Semantic Object Parsing with Local-Global Long Short-Term Memory

Xiaodan Liang, Xiaohui Shen외 4명|arXiv (Cornell University)|2015. 11. 14.

Multimodal Machine Learning Applications참고 문헌 31인용 수 30

한 줄 요약

이 논문은 의미적 객체 분할에서 근접한 픽셀 간의 국소적 공간적 종속성과 전체 이미지의 전역적 맥락 정보를 동시에 모델링하여 특징 학습을 향상시키는 새로운 딥 아키텍처인 로컬-글로벌 장기 단기 기억(LG-LSTM)을 제안한다. 중간 합성곱 특징에 LG-LSTM 레이어를 스택하여 엔드 투 엔드 학습을 통해 세 가지 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기준 CNN 및 이전의 후처리 방법에 비해 픽셀 단위의 분할 정확도를 크게 향상시켰다.

ABSTRACT

Semantic object parsing is a fundamental task for understanding objects in detail in computer vision community, where incorporating multi-level contextual information is critical for achieving such fine-grained pixel-level recognition. Prior methods often leverage the contextual information through post-processing predicted confidence maps. In this work, we propose a novel deep Local-Global Long Short-Term Memory (LG-LSTM) architecture to seamlessly incorporate short-distance and long-distance spatial dependencies into the feature learning over all pixel positions. In each LG-LSTM layer, local guidance from neighboring positions and global guidance from the whole image are imposed on each position to better exploit complex local and global contextual information. Individual LSTMs for distinct spatial dimensions are also utilized to intrinsically capture various spatial layouts of semantic parts in the images, yielding distinct hidden and memory cells of each position for each dimension. In our parsing approach, several LG-LSTM layers are stacked and appended to the intermediate convolutional layers to directly enhance visual features, allowing network parameters to be learned in an end-to-end way. The long chains of sequential computation by stacked LG-LSTM layers also enable each pixel to sense a much larger region for inference benefiting from the memorization of previous dependencies in all positions along all dimensions. Comprehensive evaluations on three public datasets well demonstrate the significant superiority of our LG-LSTM over other state-of-the-art methods.

연구 동기 및 목표

• 세분화된 픽셀 수준의 객체 분할을 위해 CNN이 장거리 및 전역 맥락 종속성을 포착하는 데에 한계가 있음을 해결하기 위해.
• CRF나 평균장 근사와 같은 후처리 기법이 맥락 관계를 모델링하는 데에 비효율적이고 최적의 성능을 내지 못함을 해결하기 위해.
• 특징 학습 중에 국소적 및 전역적 맥락을 원활하게 통합하는 딥 러닝 아키텍처를 개발하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 공간적 및 깊이 차원을 통해 장기 종속성을 유지하는 메모리 셀을 활용하여 시각적 특징의 구분 능력을 향상시키기 위해.

제안 방법

• LG-LSTM 아키텍처는 공간적 차원(수평, 수직, 대각선)에 대해 개별 LSTM을 사용하고, 네트워크 레이어 간 정보를 전파하기 위해 깊이 LSTM을 활용한다.
• 국소적 가이던스는 여덟 개의 근접한 공간 위치에서의 은닉 상태를 통해 제공되며, 풍부한 국소 맥락 모델링이 가능하다.
• 전역적 가이던스는 이전 레이어의 은닉 맵을 아홉 개의 격자로 나누고, 각 격자에 대해 최대 풀링을 적용하여 구분 능력 있는 전역 특징을 추출한다.
• 전역 및 국소 은닉 상태를 각 위치의 LSTM 입력으로 조합함으로써, 각 픽셀이 국소 주변과 전체 이미지 맥락 양쪽에 주목할 수 있도록 한다.
• 다중 LG-LSTM 레이어를 스택하고, 완전 컨volutional 네트워크의 중간 합성곱 레이어에 연결함으로써 계층적 특징 향상이 가능하다.
• 메모리 셀은 모든 위치를 통해 장기 맥락 종속성을 저장하며, 순차적 계산을 통해 각 픽셀이 더 큰 수신장( receptive field)을 감지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 후처리에 의존하지 않고도 통합된 딥 러닝 아키텍처가 의미적 객체 분할에서 국소적 및 전역적 공간적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 국소적 공간 연결과 전역 이미지 맥락의 통합이 표준 CNN에 비해 픽셀 단위의 분류 정확도를 얼마나 향상시키는가?
• RQ3 반복 메모리 셀을 통해 포착된 장거리 종속성이 의미 분할 작업에서 특징 표현을 얼마나 향상시키는가?
• RQ4 CRF나 평균장 근사와 같은 전통적 후처리 방법에 비해 제안된 LG-LSTM 아키텍처가 정확도 및 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ5 LG-LSTM 레이어의 엔드 투 엔드 학습이 외관 및 위치 변형이 있는 도전적인 분할 작업에서 보다 우수한 일반화 및 내성적 특성을 제공하는가?

주요 결과

• LG-LSTM 모델은 PASCAL-Context 데이터셋에서 평균 IoU 69.4%를 기록하여 기준 VGG16 및 다른 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보였다.
• Horse-Cow 데이터셋에서 LG-LSTM은 'LG-LSTM local_2' 버전 대비 4.19% 향상되고 'LG-LSTM local_4' 대비 2.94% 향상되어 여덟 개의 공간 연결이 중요함을 입증했다.
• LG-LSTM에서 전역 가이던스를 제거하면 말과 소 클래스에서 각각 1.27%, 1.81%의 IoU 감소가 발생하여 전역 맥락이 모호함 해소에 기여함을 입증했다.
• 전체 이미지 맥락을 활용함으로써 '스커트' 대비 '드레스', '다리' 대비 '바지' 등의 모호한 영역에서의 분할 오류를 감소시켰다.
• 유사한 파rameter 수를 가진 다섯 개의 추가 합성곱 레이어에 비해 LG-LSTM은 말 클래스에서 2.78% 향상되고 소 클래스에서 4.86% 향상되어 장거리 패턴 모델링 능력이 뛰어나다는 것을 보여주었다.
• 정성적 결과에서는 LG-LSTM이 VGG16과 Co-CNN에 비해 더 일관되고 의미적으로 유의미하며 경계를 잘 유지하는 예측을 생성했으며, 尾나 다리와 같이 작은 크기이거나 시각적으로 유사한 부분에서 특히 두드러진 성능을 보였다.