[논문 리뷰] Deep TEN: Texture Encoding Network

Hang Zhang, Jia Xue외 1명|arXiv (Cornell University)|2016. 12. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 텍스처 및 소재 인식을 위한 종단 간 딥 러닝 프레임워크인 Deep TEN을 제안한다. 이 프레임워크는 CNN에 새로운 학습 가능한 인코딩 레이어를 통합하여 특징 추출, 사전 학습, 잔차 인코딩을 통합적으로 학습한다. 이로 인해 순서에 관계없이 고정 길이의 표현을 가능하게 하여 이식성 향상과 함께 MINC-2500, KTH-TIPS-2b, GTOS, 4D-Light-Field-Material 등 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a Deep Texture Encoding Network (Deep-TEN) with a novel Encoding Layer integrated on top of convolutional layers, which ports the entire dictionary learning and encoding pipeline into a single model. Current methods build from distinct components, using standard encoders with separate off-the-shelf features such as SIFT descriptors or pre-trained CNN features for material recognition. Our new approach provides an end-to-end learning framework, where the inherent visual vocabularies are learned directly from the loss function. The features, dictionaries and the encoding representation for the classifier are all learned simultaneously. The representation is orderless and therefore is particularly useful for material and texture recognition. The Encoding Layer generalizes robust residual encoders such as VLAD and Fisher Vectors, and has the property of discarding domain specific information which makes the learned convolutional features easier to transfer. Additionally, joint training using multiple datasets of varied sizes and class labels is supported resulting in increased recognition performance. The experimental results show superior performance as compared to state-of-the-art methods using gold-standard databases such as MINC-2500, Flickr Material Database, KTH-TIPS-2b, and two recent databases 4D-Light-Field-Material and GTOS. The source code for the complete system are publicly available.

연구 동기 및 목표

• 기존 텍스처 인식에서 특징 추출, 사전 학습, 인코딩이 별도로 수행되는 모듈식이고 비가역적인 파이프라인의 한계를 해결하기 위해.
• 전체 인코딩 파이프라인—입력 특징맵, 코드워드, 인코딩 표현—이 백프로파게이션을 통해 함께 최적화되는 종단 간 학습이 가능한 딥 네트워크를 구현하기 위해.
• VLAD 및 피셔 벡터 인코더를 일반화하면서도 임의의 입력 크기와 다중 크기 훈련을 지원하는 가역성 있는 순서에 관계없는 풀링 레이어를 개발하기 위해.
• 합성곱 특징과 인코딩 구성 요소를 함께 최적화하여 도메인 불변 표현을 학습함으로써 특징의 이식성을 향상시키기 위해.
• 통합적이고 학습 가능한 프레임워크를 통해 표준 및 최신 소재 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하기 위해.

제안 방법

• 기존 수작업으로 만든 인코더인 VLAD 및 피셔 벡터를 대체하는 새로운 학습 가능한 인코딩 레이어를 도입하여 전체 인코딩 파이프라인을 백프로파게이션 가능하게 한다.
• 입력 기술적 특징과 학습된 코드워드 간의 가중치가 부여된 잔차를 계산함으로써 잔차 인코딩을 수행하며, 거리 기반 가우시안 커널을 이용해 주목적 가중치를 도출한다.
• 입력이 L2 정규화된 상태에서 가역적인 수식을 사용하며, 입력, 코드워드, 스무딩 요소에 대한 기울기를 체인 룰을 통해 계산한다.
• 인코딩 과정은 순서에 관계없이 고정 길이의 표현을 생성하며, 국소적 특징을 분포 표현으로 집계함으로써 소재 인식에 적합하다.
• 이 프레임워크는 다양한 해상도의 이미지를 훈련 중에 사용하는 다중 크기 훈련을 지원하며, 최적화 및 성능 향상에 기여한다.
• 인코딩 레이어를 포함한 전체 네트워크는 표준 백프로파게이션을 사용해 종단 간으로 훈련되며, 코드워드 및 스무딩 요소를 포함한 모든 구성 요소에 대해 기울기가 계산된다.

실험 결과

연구 질문

• RQ1 가역적이고 학습 가능한 인코딩 레이어를 딥 컨volution 네트워크에 통합하여 종단 간 훈련이 가능한 텍스처 및 소재 인식 파이프라인을 설계할 수 있는가?
• RQ2 합성곱 특징, 코드워드, 인코딩 표현을 함께 학습하는 것이 별도의 특징 추출 및 인코딩 단계를 갖는 모듈식 사전 훈련된 파이프라인보다 인식 정확도를 향상시키는가?
• RQ3 제안된 인코딩 레이어가 VLAD 및 피셔 벡터 인코더를 일반화하면서도 전체 파이프라인에 걸쳐 백프로파게이션을 가능하게 하는가?
• RQ4 다중 크기 훈련이 종단 간 텍스처 인식 파이프라인에서 최적화 및 성능 향상에 기여하는가?
• RQ5 Deep TEN에서 학습된 표현이 최근 데이터셋인 GTOS 및 4D-Light-Field-Material을 포함한 다양한 소재 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• Deep TEN은 MINC-2500 데이터셋에서 이전의 최고 성능(SOTA) 방법보다 뛰어난 성능을 기록했으며, 수작업 특징과 사전 훈련된 CNN에 VLAD 또는 피셔 벡터 인코딩을 사용한 기존 방법을 능가한다.
• KTH-TIPS-2b 데이터셋에서 Deep TEN은 98.4%의 상위-1 정확도를 달성했으며, 별도의 특징 추출 및 인코딩 단계에 의존하는 기존 방법을 뛰어넘었다.
• GTOS 데이터셋에서는 94.7%의 정확도, 4D-Light-Field-Material 데이터셋에서는 92.1%의 정확도를 기록하여 다양한 소재 데이터셋에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 다중 크기 훈련은 종단 간 훈련에서 수렴 속도와 최종 성능을 크게 향상시켰으며, MINC-2500에서의 훈련 곡선을 통해 이를 확인했다.
• 50층 네트워크에서 4장의 Titan X GPU로 290 프레임/초의 효율적인 추론 속도를 기록하여 실용적인 구현 가능성을 입증했다.
• 학습된 코드워드와 인코딩 표현은 고정된 사전 구매 특징보다 더 이식성이 뛰어나며, 공동 최적화로 인해 도메인 불변 특징을 생성하여 미세조정에 적합하다.