[논문 리뷰] Rethinking Learnable Tree Filter for Generic Feature Transform

Lin Song, Yanwei Li외 6명|arXiv (Cornell University)|2020. 12. 07.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 기하학적 제약 조건을 완화하기 위해 학습 가능한 유니터리 항과 미분 가능한 스패닝 트리 알고리즘을 도입함으로써 기존 방법의 제약을 완화한, 미분 가능하고 학습 가능한 트리 필터 모듈인 Learnable Tree Filter V2(LTF-V2)를 제안한다. 이 방법은 구조적 세부 정보를 유지하면서도 효과적인 장거리 특징 상호작용을 가능하게 하여 선형 복잡도와 최소한의 계산 오버헤드를 바탕으로 도시스케이프 세그멘테이션에서 SOTA인 82.1% mIoU를 달성한다.

ABSTRACT

The Learnable Tree Filter presents a remarkable approach to model structure-preserving relations for semantic segmentation. Nevertheless, the intrinsic geometric constraint forces it to focus on the regions with close spatial distance, hindering the effective long-range interactions. To relax the geometric constraint, we give the analysis by reformulating it as a Markov Random Field and introduce a learnable unary term. Besides, we propose a learnable spanning tree algorithm to replace the original non-differentiable one, which further improves the flexibility and robustness. With the above improvements, our method can better capture long-range dependencies and preserve structural details with linear complexity, which is extended to several vision tasks for more generic feature transform. Extensive experiments on object detection/instance segmentation demonstrate the consistent improvements over the original version. For semantic segmentation, we achieve leading performance (82.1% mIoU) on the Cityscapes benchmark without bells-and-whistles. Code is available at https://github.com/StevenGrove/LearnableTreeFilterV2.

연구 동기 및 목표

• 원래의 학습 가능한 트리 필터(LTF-V1)가 정적 기하학적 제약 조건으로 인해 장거리 의존성을 모델링하는 데 한계가 있음을 해결하기 위해.
• LTF-V1에서 스패닝 트리 구축의 비미분 가능성으로 인해 엔드 투 엔드 훈련과 강건성이 제한됨을 극복하기 위해.
• 학습 가능한 유니터리 항을 도입하여 트리 필터를 마르코프 무작위장치(MRF)로 재구성함으로써 더 유연하고 효과적인 특징 집약을 가능하게 하기 위해.
• 기울기 흐름이 트리 구축 과정을 통해 유지를 보장하는 미분 가능한 스패닝 트리 알고리즘을 개발하기 위해.
• 세그멘테이션을 넘어서 객체 검출 및 인스턴스 세그멘테이션을 포함한 일반적인 비전 작업으로의 적용 가능성을 확장하기 위해.

제안 방법

• 장거리 의존성을 원칙적으로 모델링할 수 있도록 LTF-V1을 마르코프 무작위장치(MRF)로 재구성하기 위해.
• 각 노드의 영향력을 조절할 수 있는 학습 가능한 유니터리 항을 도입하여, 필터가 오직 공간적으로 가까운 영역 뿐 아니라 먼, 의미적으로 관련된 영역에도 집중할 수 있도록 하기 위해.
• LTF-V1에서 비미분 가능한 최소 스패닝 트리 대신 학습 가능한 스패닝 트리(LST) 알고리즘을 제안하여 엔드 투 엔드 훈련이 가능하게 하기 위해.
• 특징 집약을 위해 트리 기반 구조를 유지함으로써 선형 계산 복잡도를 유지하여 효율성을 확보하기 위해.
• 최소한의 아키텍처 변경으로 ResNet-50 및 ResNet-101과 같은 백본 네트워크에 LTF-V2 모듈을 통합하기 위해.
• LTF-V1 설계를 따르며 디코더에서 글로벌 평균 풀링과 잔차 블록을 사용하여 특징 표현을 추가로 향상시키기 위해.

실험 결과

연구 질문

• RQ1 기존 학습 가능한 트리 필터의 기하학적 제약 조건을 어떻게 완화하여 효과적인 장거리 특징 상호작용을 가능하게 할 수 있는가?
• RQ2 미분 가능한 스패닝 트리 구축 과정은 트리 기반 특징 집약의 강건성과 엔드 투 엔드 훈련 가능성에 어떻게 기여하는가?
• RQ3 학습 가능한 유니터리 항을 도입함으로써 필터가 의미적으로 관련된 먼 영역에 집중하는 능력이 얼마나 향상되는가?
• RQ4 LTF-V2 모듈은 객체 검출, 인스턴스 세그멘테이션, 세그멘테이션을 포함한 다양한 비전 작업에서 어떻게 성능을 발휘하는가?
• RQ5 LTF-V2는 최소한의 계산 및 파rametric 오버헤드로 SOTA 성능을 달성할 수 있는가?

주요 결과

• LTF-V2 모듈은 정밀한 앤오테이션만을 사용하여 도시스케이프 테스트 세트에서 82.1% mIoU를 달성하며, 품질 향상 요소 없이도 새로운 SOTA 성능을 기록했다.
• COCO 인스턴스 세그멘테이션에서 LTF-V2는 ResNet-50-FPN 기준선 대비 AP^box와 AP^seg에서 각각 2.4%와 1.8%의 절대적 향상을 달성했다.
• 제거 실험 결과, 학습 가능한 유니터리 항과 학습 가능한 스패닝 트리 알고리즘이 성능 향상에 크게 기여하며, 다중 스케일 및 플립 증강을 적용한 경우 LTF-V1 대비 LTF-V2가 3.4% mIoU 높은 성능을 보였다.
• LTF-V2 모듈은 선형 계산 복잡도를 유지하며, 계산 오버헤드가 거의 없어 실세계 구현에 매우 효율적이다.
• 객체 검출 및 인스턴스 세그멘테이션을 포함한 여러 작업에서 일관된 향상을 달성하여, 이 방법의 일반적 적용 가능성을 입증했다.
• 학습 가능한 유니터리 항은 시각적으로 그림 1에서 확인한 바와 같이, LTF-V1의 공간적 근접성 편향을 극복하고 먼 의미적 관련 영역에 집중할 수 있도록 한다.