[논문 리뷰] Transfer Learning for Material Classification using Convolutional Networks

Patrick Wieschollek, Hendrik P. A. Lensch|arXiv (Cornell University)|2016. 09. 20.

Advanced Neural Network Applications참고 문헌 16인용 수 14

한 줄 요약

이 논문은 전이 학습을 활용한 컨볼루션 신경망(CNN) 기반 접근법을 제안하여 자연 이미지 내 재료 분류 성능을 햖थ다. 사전 훈련된 객체 인식 모델을 활용해 데이터 요구량을 줄이며, 10개의 재료 종류로 구성된 약 10,000장의 다양한 실제 이미지로 구성된 새로운 데이터셋을 훈련에 사용함으로써 재료 인식 분야에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 아울러 정밀 분석 결과, 반사율과 조명 반사 특성의 기여도가 재료 종류에 따라 다르게 나타났다.

ABSTRACT

Material classification in natural settings is a challenge due to complex interplay of geometry, reflectance properties, and illumination. Previous work on material classification relies strongly on hand-engineered features of visual samples. In this work we use a Convolutional Neural Network (convnet) that learns descriptive features for the specific task of material recognition. Specifically, transfer learning from the task of object recognition is exploited to more effectively train good features for material classification. The approach of transfer learning using convnets yields significantly higher recognition rates when compared to previous state-of-the-art approaches. We then analyze the relative contribution of reflectance and shading information by a decomposition of the image into its intrinsic components. The use of convnets for material classification was hindered by the strong demand for sufficient and diverse training data, even with transfer learning approaches. Therefore, we present a new data set containing approximately 10k images divided into 10 material categories.

연구 동기 및 목표

• 빛의 조건, 시점, 기하학적 구조가 다양하게 변하는 자연적이고 제약이 없는 환경에서 재료 분류 정확도를 향상시키기 위해.
• 사전 훈련된 객체 인식 모델을 활용해 대규모이고 다양한 훈련 데이터가 필요로 하는 문제를 줄이기 위해.
• 반사율과 조명 반사 성분이 재료 인식 성능에 기여하는 비율을 분석하기 위해.
• 재료 분류 연구를 위해 10개의 재료 종류로 구성된 새로운 대규모 실세계 이미지 데이터셋(10,000장)을 제공하기 위해.

제안 방법

• 사전 훈련된 컨볼루션 신경망(CNN)을 객체 인식 모델에서 전이 학습을 통해 재료 분류에 맞게 미세 조정하였다.
• Google 이미지에서 수집한 약 10,000장의 이미지로 구성된 새로운 데이터셋을 활용하여, 다양한 조명 조건과 시점에서 10개의 재료 종류를 포함하도록 훈련하였다.
• 최신 기술의 분해 방법을 사용해 입력 이미지를 내재 성분인 반사율과 조명 반사로 분리하여 각 성분의 기여도를 고립하고 분석하였다.
• RGB, 반사율 전용, 조명 반사 전용 입력을 사용해 특징의 중요도를 평가하였다.
• 최종 CNN 특징에 다층 퍼셉트론(MLP) 분류기를 적용하여 재료 종류를 예측하였다.
• RGB, 반사율, 조명 반사 등 다양한 입력 모odal의 성능을 비교하는 아블레이션 연구를 수행하여 각 재료 종류에 대해 가장 분류에 기여도가 높은 시각적 신호를 파악하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 객체 인식 모델에서 전이 학습을 통해 재료 분류 성능이 수작업 특징보다 얼마나 향상되는가?
• RQ2 반사율과 조명 반사 중 어떤 내재 이미지 성분이 다양한 재료 종류의 정확한 재료 인식에 더 기여하는가?
• RQ3 실세계 이미지로 구성된 대규모이고 다양한 데이터셋에서 훈련된 딥 CNN이 이전 최신 기술 수준의 방법보다 뛰어난 재료 분류 성능을 보일 수 있는가?
• RQ4 예측의 신뢰도와 정확도 사이의 상관관계는 어떻게 되며, 이는 모델의 강건성에 대해 무엇을 시사하는가?
• RQ5 주변 환경의 맥락 정보가 재료 분류에 얼마나 영향을 미치며, 배경 정보를 마스킹 처리하면 성능 향상이 이루어지는가?

주요 결과

• 전이 학습을 활용한 제안된 CNN 기반 방법은 이전 최신 기술 수준의 접근법보다 유의미하게 높은 인식률을 달성하였으며, Flickr Material Database(FMD)에서 수작업 특징보다 뛰어난 성능을 보였다.
• 반사율 정보만으로도 훈련된 모델이 GMD 테스트 세트에서 98%의 정확도를 기록하여, 반사율이 많은 재료 종류에 대해 매우 분류에 유용한 특징임을 시사한다.
• 목재에 대한 정확한 예측에서는 평균 0.97의 높은 신뢰도를 보였고, 잘못된 예측는 평균 0.64의 낮은 신뢰도를 보여, 신뢰도 추정이 신뢰할 수 있음을 시사한다.
• 반사율 정보는 유리, 물, 돌, 식물과 같은 재료를 구분하는 데 특히 효과적이며, 반면 금속과 플라스틱 같은 재료에서는 조명 반사 성분이 더 중요한 기여를 한다.
• 혼동 행렬 분석 결과, 종이와 식물은 풍부한 훈련 데이터가 있음에도 불구하고 자주 혼동되며, 이는 본질적으로 유사한 외관을 지닌다는 것을 시사한다.
• 배경 픽셀을 평균 색상 또는 흰색으로 교체하는 마스크 처리를 수행했지만 성능 향상이 없었으며, 이는 정확한 분류에 있어 맥락 기반 환경 정보가 중요하다는 것을 시사한다.