[논문 리뷰] Tensor Low-Rank Reconstruction for Semantic Segmentation

Wanli Chen, Xinge Zhu외 5명|arXiv (Cornell University)|2020. 08. 02.

Advanced Neural Network Applications참고 문헌 62인용 수 11

한 줄 요약

이 논문은 공간적 또는 채널 방향 압축 없이 고랭크 3D 컨텍스트 특징을 모델링하는 텐서 저랭크 복원 프레임워크인 RecoNet을 제안한다. 텐서 생성 모듈(TGM)을 통해 랭크-1 텐서를 생성하고, CP 분해를 사용하여 텐서 복원 모듈(TRM)에서 이를 복원함으로써, 비국소 방법보다 100배 이상 낮은 FLOPs로 다양한 데이터셋에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Context information plays an indispensable role in the success of semantic segmentation. Recently, non-local self-attention based methods are proved to be effective for context information collection. Since the desired context consists of spatial-wise and channel-wise attentions, 3D representation is an appropriate formulation. However, these non-local methods describe 3D context information based on a 2D similarity matrix, where space compression may lead to channel-wise attention missing. An alternative is to model the contextual information directly without compression. However, this effort confronts a fundamental difficulty, namely the high-rank property of context information. In this paper, we propose a new approach to model the 3D context representations, which not only avoids the space compression but also tackles the high-rank difficulty. Here, inspired by tensor canonical-polyadic decomposition theory (i.e, a high-rank tensor can be expressed as a combination of rank-1 tensors.), we design a low-rank-to-high-rank context reconstruction framework (i.e, RecoNet). Specifically, we first introduce the tensor generation module (TGM), which generates a number of rank-1 tensors to capture fragments of context feature. Then we use these rank-1 tensors to recover the high-rank context features through our proposed tensor reconstruction module (TRM). Extensive experiments show that our method achieves state-of-the-art on various public datasets. Additionally, our proposed method has more than 100 times less computational cost compared with conventional non-local-based methods.

연구 동기 및 목표

• 비국소 방법이 2D 유사도 행렬 압축으로 인해 채널 방향 주의를 상실하는 데 기인한 한계를 해결하기 위해.
• 차원 감소 없이 직접 고랭크 3D 컨텍스트 특징을 모델링하기 위해.
• 텐서 분해 이론을 활용해 높은 랭크 문제를 해결하기 위해.
• 공간적 및 채널 방향 주의를 모두 유지하는 효율적이고 저계산량의 프레임워크 개발하기 위해.

제안 방법

• 채널, 높이, 너비 방향으로 랭크-1 텐서를 생성함으로써 분할된 컨텍스트 특징을 캡처하는 텐서 생성 모듈(TGM)을 도입한다.
• 다양한 저랭크 텐서에서 고랭크 주의 맵을 복원하기 위해 텐서 캐논리컬-다항식(CP) 분해를 활용한다.
• 진행적 복원 전략을 적용: 저랭크 조각들을 조합하여 완전한 고랭크 컨텍스트 표현을 형성한다.
• 다양한 랭크-1 텐서의 시야에서 동시 발생 컨텍스트 정보를 융합하는 복원 모듈(TRM)을 설계한다.
• 비국소 블록을 TGM+TRM 구성 요소로 대체하여 세분화 네트워크에서 종단 간(end-to-end)으로 프레임워크를 적용한다.
• 교차 엔트로피 손실과 보조 감독을 사용한 표준 학습 프rotocol을 통해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 공간적 또는 채널 차원을 압축하지 않고도 고랭크 3D 컨텍스트 특징을 효과적으로 모델링할 수 있는가?
• RQ2 저랭크 조각들로부터 세밀한 컨텍스트를 복원하기 위해 텐서 캐논리컬-다항식 분해를 어떻게 활용할 수 있는가?
• RQ3 저랭크에서 고랭크로의 복원 전략이 세분화 분류에서 기존 비국소 방법보다 우월한가?
• RQ4 이러한 방법으로는 상당히 감소된 계산 비용으로도 최신 기준 성능(SOTA)을 달성할 수 있는가?
• RQ5 개별 구성 요소(TGM, TRM, 보조 손실)가 전체 성능 향상에 기여하는 방식은 어떠한가?

주요 결과

• Cityscapes 검증 세트에서 RecoNet은 82.3%의 mIoU를 기록하여 CCNet(81.4%) 및 DANet(81.5%)를 능가하는 최신 기준 성능을 달성한다.
• PASCAL VOC12에서 RecoNet은 상위 1 성능을 기록하여 다양한 데이터셋에서 일관된 우수성을 입증한다.
• Cityscapes에서 TGM+TRM 구성 요소는 mIoU를 73.1%에서 78.9%로 5.8% 향상시키며 주요 기여 요소로 확인된다.
• 비국소 기반 방법(예: CCNet 및 AsymmetricNL)보다 100배 이상 적은 FLOPs를 소비한다.
• 시각화 결과는 개별 하위 주의 맵이 서로 다른 이미지 영역에 집중하고 있음을 확인하여 효과적인 장거리 종속성 모델링을 뒷받침한다.
• 절단 분석 결과 TGM+TRM 모듈이 성능 향상의 주요 원동력임을 확인하였으며, 보조 손실 및 다중 해상도 추론으로 추가적인 성능 향상이 이루어짐을 입증한다.