[논문 리뷰] Material Classification using Neural Networks

Anca Sticlaru|arXiv (Cornell University)|2017. 10. 17.

Industrial Vision Systems and Defect Detection참고 문헌 23인용 수 3

한 줄 요약

이 학부 학위논문은 깊이 신경망을 사용한 재료 분류를 조사하며, 네 가지 벤치마크 데이터셋에서 아홉 가지 CNN 아키텍처와 선형 SVM을 조합하여 평가한다. 이는 전이 학습—이전 완전 연결층에서 추출한 특징을 사용함으로써 성능을 향상시키며, 반사율과 반사 특성을 더 잘 포착함으로써 최대 92.5%의 평균 정밀도를 달성함을 보여준다. 특히 대규모 데이터셋에서 두드러진 성능 향상이 나타난다.

ABSTRACT

The recognition and classification of the diversity of materials that exist in the environment around us are a key visual competence that computer vision systems focus on in recent years. Understanding the identification of materials in distinct images involves a deep process that has made usage of the recent progress in neural networks which has brought the potential to train architectures to extract features for this challenging task. This project uses state-of-the-art Convolutional Neural Network (CNN) techniques and Support Vector Machine (SVM) classifiers in order to classify materials and analyze the results. Building on various widely used material databases collected, a selection of CNN architectures is evaluated to understand which is the best approach to extract features in order to achieve outstanding results for the task. The results gathered over four material datasets and nine CNNs outline that the best overall performance of a CNN using a linear SVM can achieve up to ~92.5% mean average precision, while applying a new relevant direction in computer vision, transfer learning. By limiting the amount of information extracted from the layer before the last fully connected layer, transfer learning aims at analyzing the contribution of shading information and reflectance to identify which main characteristics decide the material category the image belongs to. In addition to the main topic of my project, the evaluation of the nine different CNN architectures, it is questioned if, by using the transfer learning instead of extracting the information from the last convolutional layer, the total accuracy of the system created improves. The results of the comparison emphasize the fact that the accuracy and performance of the system improve, especially in the datasets which consist of a large number of images.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 다양한 사전 훈련된 CNN 아키텍처의 재료 분류 효과성을 평가하는 것.
• 최종 완전 연결층이 아닌 이전 완전 연결층에서 특징을 추출하는 전이 학습이 표준 마지막 합성곱층 특징보다 분류 정확도를 향상시키는지 평가하는 것.
• 조명과 반사 특성 정보가 재료 카테고리 인식에 기여하는 정도를 분석하는 것.
• 다양한 재료 데이터셋에서 선형 SVM의 성능을 다양한 CNN 특징 추출기와 비교하는 것.
• 대규모 이미지 컬렉션에서 재료 분류에 최적의 특징 추출 전략을 결정하는 것.

제안 방법

• 연구는 재료 이미지에서 특징 추출을 위해 아홉 가지 최신 사전 훈련된 합성곱 신경망(CNN) 아키텍처를 사용한다.
• 전이 학습의 영향을 평가하기 위해 마지막 합성곱층과 최종 완전 연결층 이전의 층에서 특징을 추출한다.
• 추출된 특징을 재료 카테고리로 매핑하기 위해 선형 서포트 벡터 머신(SVM)을 분류기로 사용한다.
• 일반화 성능를 확보하기 위해 네 가지 널리 사용되는 재료 데이터베이스에서 모델을 훈련하고 평가한다.
• 성능는 평균 정밀도(mAP)로 측정하며, 특징 추출 전략을 비교하기 위해 분석 실험을 실시한다.
• 전이 학습은 이전 층에서 추출하는 정보를 제한하여 반사율과 조명 조건이 재료 인식에 미치는 역할을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 전이 학습을 통해 이전 완전 연결층에서 특징을 추출하는 것이 마지막 합성곱층 특징을 사용할 때보다 재료 분류 정확도를 향상시키는가?
• RQ2 다양한 데이터셋에서 다양한 CNN 아키텍처가 재료 분류를 위한 구분 가능한 특징을 얼마나 잘 추출하는가?
• RQ3 조명과 반사 특성이 정확한 재료 카테고리 예측에 얼마나 기여하는가?
• RQ4 전이 학습의 성능 향상 효과가 대규모 데이터셋에서 더 두드러지는가?
• RQ5 사전 훈련된 CNN에서 추출한 깊이 특징과 선형 SVM을 조합했을 때 재료를 효과적으로 분류할 수 있는가?

주요 결과

• 최고의 성능을 보인 시스템은 전이 학습과 선형 SVM을 조합하여 약 92.5%의 평균 정밀도(mAP)를 달성했다.
• 전이 학습은 특히 대규모 데이터셋에서 분류 정확도를 크게 향상시켰으며, 반사율과 조명 조건의 특징을 더 잘 포착함으로써 성과를 높였다.
• 재료 분류에 있어 이전 완전 연결층에서 추출한 특징이 마지막 합성곱층 특징보다 더 구분 가능한 특징을 제공했다.
• 전이 학습의 성능 향상 효과는 이미지 다양성이 높고 샘플 수가 많은 데이터셋에서 가장 두드러졌다.
• 평가한 아홉 가지 CNN 아키텍처 중에서 ResNet과 DenseNet 변종이 모든 데이터셋에서 뛰어난 일반화 성능를 보였다.
• 연구는 반사율과 조명 조건이 재료 인식에 핵심적인 시각적 단서임을 확인하였으며, 이러한 특징의 효과적인 추출이 분류 성능 향상에 기여함을 입증했다.