[논문 리뷰] Indices Matter: Learning to Index for Deep Image Matting

Hao Lü, Yutong Dai외 2명|arXiv (Cornell University)|2019. 08. 02.

Image Enhancement Techniques참고 문헌 47인용 수 12

한 줄 요약

이 논문은 깊이 있는 이미지 매트팅을 향상시키기 위해 특징 맵 업샘플링을 위한 동적 예측 인덱스를 사용하는 학습 가능한 인덱스 가이드 업샘플링 프레임워크인 IndexNet을 제안한다. 기존의 고정된 연산자인 이중선형 보간 또는 최대 풀링 역할을 하는 인덱스를 대체한다. 이 방법은 VGG-16 기반의 깊이 있는 매트팅 베이스라인 대비 Composition-1k 데이터셋에서 16.1% 향상된 성능을 달성하며, 더 작은 MobileNetv2 모델을 사용하고, 더 적은 데이터로, 더 빠른 추론 속도를 확보한다.

ABSTRACT

We show that existing upsampling operators can be unified with the notion of the index function. This notion is inspired by an observation in the decoding process of deep image matting where indices-guided unpooling can recover boundary details much better than other upsampling operators such as bilinear interpolation. By looking at the indices as a function of the feature map, we introduce the concept of learning to index, and present a novel index-guided encoder-decoder framework where indices are self-learned adaptively from data and are used to guide the pooling and upsampling operators, without the need of supervision. At the core of this framework is a flexible network module, termed IndexNet, which dynamically predicts indices given an input. Due to its flexibility, IndexNet can be used as a plug-in applying to any off-the-shelf convolutional networks that have coupled downsampling and upsampling stages. We demonstrate the effectiveness of IndexNet on the task of natural image matting where the quality of learned indices can be visually observed from predicted alpha mattes. Results on the Composition-1k matting dataset show that our model built on MobileNetv2 exhibits at least $16.1\%$ improvement over the seminal VGG-16 based deep matting baseline, with less training data and lower model capacity. Code and models has been made available at: https://tinyurl.com/IndexNetV1

연구 동기 및 목표

• 이미지 매트팅과 같은 경계 민감한 작업에서 고정된 업샘플링 연산자에 대한 한계를 해결하기 위해.
• 학습된 인덱스가 기존의 이중선형 보간 또는 최대 풀링과 같은 전통적 업샘플링 방법을 초월할 수 있는지 조사하기 위해.
• 감독 없이 데이터에서 인덱스 함수를 학습하는 유연하고 플러그인 방식의 모듈인 IndexNet을 개발하기 위해.
• 다양한 업샘플링 연산자를 인덱스 함수의 개념으로 통합하여, 동적이고 맥락 인식 가능한 특징 재구성 기능을 가능하게 하기 위해.
• 이 인덱스 가이드 프레임워크가 매트팅을 넘어서 분류, 깊이 추정, 환경 이해 등 다양한 분야로 일반화될 수 있는지 입증하기 위해.

제안 방법

• 업샘플링 연산자를 모두 인덱스 함수로 통합된 시각으로 재정의하여, 인덱스가 특징 재구성의 지침이 되도록 한다.
• 고정된 규칙 대신 동적으로 예측된 인덱스를 사용하는 인덱스 풀링(IP) 및 인덱스 업샘플링(IU) 연산자를 제안한다.
• 입력 특징 맵에 조건화된 인덱스를 예측하는 완전 컨volution 네트워크인 IndexNet을 설계하였으며, 감독 없이 엔드 투 엔드로 훈련된다.
• 다양한 작업에 맞게 조정 가능하고, 쌍방향 다운샘플링 및 업샘플링 단계를 갖춘 임의의 인코더-디코더 네트워크에 통합 가능한, 민첩한 아키텍처를 채택한다.
• 복잡한 패턴과 경계를 포착하기 위해 다중 스케일, 비선형, 맥락 인식 설계를 IndexNet에 적용한다.
• 이 프레임워크를 이미지 매트팅, 분류, 깊이 추정, 환경 이해에 적용하여 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 경계 민감한 작업에서 이중선형 보간 및 최대 풀링과 같은 고정된 업샘플링 연산자에 비해 학습된 인덱스 함수가 성능을 뛰어넘을 수 있는가?
• RQ2 고정된 인덱스 대비 동적으로 예측된 인덱스는 미세한 디테일과 구조적 패턴을 얼마나 잘 유지하는가?
• RQ3 아키텍처의 대대적인 수정 없이도 플러그인 모듈인 IndexNet이 다양한 밀도 예측 작업에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 학습된 인덱스가 자동으로 포착하는 구조적 및 질감 패턴은 무엇이며, 이는 이미지 의미와 어떻게 관련되어 있는가?
• RQ5 이 인덱스 가이드 프레임워크는 매트팅을 넘어서 분류 및 깊이 추정과 같은 다른 시각 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 IndexNet 기반 모델은 Composition-1k 데이터셋에서 VGG-16 기반의 깊이 있는 매트팅 베이스라인 대비 16.1% 향상된 매트팅 성능을 달성한다.
• MobileNetv2 기반 모델은 훨씬 적은 훈련 데이터와 훨씬 작은 모델 용량을 사용하면서도 이전 최고 성능(SOTA) 모델을 초월하는 성능을 보인다.
• alphamatting.com 온라인 벤치마크에서 이 방법은 기울기 오차 기준으로 1위를 기록했으며, 털과 질감 같은 미세한 디테일에서 뛰어난 정성 있는 결과를 보였다.
• 학습된 인덱스의 시각화 결과는 고리,气泡, 에지 구조와 같은 복잡한 패턴을 자동으로 포착하고 있음을 보여주며, 효과적인 특징 재구성 능력을 시사한다.
• IndexNet은 이미지 분류(CIFAR-10/100), 단안 깊이 추정(NYUDv2), 환경 이해(SUN-RGBD)를 포함한 다양한 작업에서 일관되게 성능 향상을 이룬다.
• 이 프레임워크는 인덱스 함수 학습이 깊이 신경망에서 업샘플링을 향상시키는 일반적이고 효과적인 전략임을 입증하였으며, 특히 경계 민감한 응용 분야에서 유의미한 성능 향상을 이룬다.