[논문 리뷰] Material Recognition from Local Appearance in Global Context

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|2016. 11. 28.

Advanced Neural Network Applications참고 문헌 18인용 수 20

한 줄 요약

이 논문은 국소적 재질 외관과 전역적 맥락 정보(물체 및 환경)를 명시적으로 분리하고, 재질 카테고리에 대해서만 훈련된 완전 컨volution 신경망을 통해 이를 통합함으로써, 고밀도의 픽셀 단위 재질 인식을 위한 새로운 프레임워크를 제안한다. 이 방법은 이전 방법들이 큰 이미지 패치를 통해 맥락을 암묵적으로 융합하는 데 비해 훨씬 적은 훈련 데이터로도 다양한 재질 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Recognition of materials has proven to be a challenging problem due to the wide variation in appearance within and between categories. Global image context, such as where the material is or what object it makes up, can be crucial to recognizing the material. Existing methods, however, operate on an implicit fusion of materials and context by using large receptive fields as input (i.e., large image patches). Many recent material recognition methods treat materials as yet another set of labels like objects. Materials are, however, fundamentally different from objects as they have no inherent shape or defined spatial extent. Approaches that ignore this can only take advantage of limited implicit context as it appears during training. We instead show that recognizing materials purely from their local appearance and integrating separately recognized global contextual cues including objects and places leads to superior dense, per-pixel, material recognition. We achieve this by training a fully-convolutional material recognition network end-to-end with only material category supervision. We integrate object and place estimates to this network from independent CNNs. This approach avoids the necessity of preparing an impractically-large amount of training data to cover the product space of materials, objects, and scenes, while fully leveraging contextual cues for dense material recognition. Furthermore, we perform a detailed analysis of the effects of context granularity, spatial resolution, and the network level at which we introduce context. On a recently introduced comprehensive and diverse material database \cite{Schwartz2016}, we confirm that our method achieves state-of-the-art accuracy with significantly less training data compared to past methods.

연구 동기 및 목표

• 높은 외관 변동성 하에서 재질 인식의 과제를 해결하기 위해 국소적 재질 특징와 전역적 맥락을 분리함으로써 해결하고자 한다.
• 기존 방법들이 큰 이미지 패치를 통해 재질과 맥락을 암묵적으로 혼합함으로써 발생하는 제약을 극복하고자 하며, 이는 분리 가능성과 일반화 능력을 제한한다.
• 독립적으로 예측된 물체 및 환경 맥락을 재질 인식 네트워크에 통합하여 픽셀 단위 재질 인식 정확도를 향상시키고자 한다.
• CNN 기반 프레임워크에서 맥락 정보를 통합할 때 최적의 분해능, 공간 해상도 및 네트워크 계층을 조사하고자 한다.
• 모든 재질, 물체, 환경 조합을 포함하는 막대하고 현실적으로 불가능한 크기의 데이터셋에 의존하는 것을 줄이고자 한다.

제안 방법

• 국소 이미지 패치에 대해서만 재질 카테고리 감독을 사용하여, 완전 컨volution 신경망을 엔드 투 엔드로 훈련한다.
• 전역 맥락은 별도로 사전 훈련된 물체 검출 및 환경 분류(CNN Places) 모델의 예측을 통해 도입된다.
• 선택된 계층과 공간 해상도에서 재질 인식 네트워크의 특징 맵과 맥락 특징을 연결한다.
• 이 프레임워크는 다양한 정도의 분해능과 공간 스케일에서 맥락을 명시적으로 통합할 수 있도록 하여, 최적의 통합 전략에 대한 분석 연구를 가능하게 한다.
• 모델은 다양한 재질 데이터셋에 대해 훈련되며, 맥락 특징는 동일한 입력 이미지에서 독립된 네트워크를 통해 추출된다.
• 재질, 물체, 환경의 공동 애너테이션을 요구하지 않기 위해, 사전 훈련된 모델을 활용하여 맥락을 도입한다.

실험 결과

연구 질문

• RQ1 큰 이미지 패치를 통한 암묵적 융합과 비교해, 전역 맥락(물체 및 환경)을 명시적으로 통합할 경우 픽셀 단위 재질 인식 성능에 어떤 영향을 미치는가?
• RQ2 재질 인식 네트워크에 맥락 신호를 통합할 때 최적의 분해능과 공간 해상도는 무엇인가?
• RQ3 CNN의 계층적 구조에서 어느 정도의 계층에 맥락을 통합해야 정확도를 최대화할 수 있는가?
• RQ4 재질 카테고리에 대해서만 훈련된 모델이 독립적으로 예측된 맥락과 조합될 경우, 더 적은 훈련 데이터로도 초우수한 성능을 달성할 수 있는가?
• RQ5 편향되거나 제한된 데이터셋으로 훈련된 방법과 비교해, 이 방법은 다양한 실제 환경 재질 데이터셋에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 종합적이고 다양한 재질 인식 벤치마크에서 최신 기술 수준의 정확도를 달성하였으며, 이전 방법들이 암묵적으로 맥락을 융합하는 방식보다 뛰어난 성능을 보였다.
• 로컬 재질 데이터셋 [14]에서 68.5%의 평균 클래스 정확도를 달성하여, MINC와 같이 250만 개의 패치를 사용하는 방법보다 훨씬 적은 훈련 데이터로도 강력한 일반화 능력을 보였다.
• 큰 패치만으로 훈련된 베이스라인 모델보다 상당히 뛰어난 성능을 보였으며, 이는 큰 수신장 내의 암묵적 맥락보다 명시적 맥락 통합이 인식 성능 향상에 기여한다는 것을 확인한다.
• 아블레이션 연구 결과, 중간 계층에서 중간 수준의 공간 해상도로 맥락을 통합할 경우 가장 우수한 성능를 기록하였으며, 이는 수신장 크기와 특징의 특정성 사이의 상충 관계를 시사한다.
• 이 프레임워크는 MINC 데이터셋이 부동산 이미지에 편향되어 있다는 점을 감안할 때, 다양한 독립적인 맥락 소스를 활용함으로써 데이터셋 특화된 재질 분포에 의한 편향을 줄였다.
• 정성적 결과는 맥락이 국소적 모호성을 해결함으로써, 반사광이 없는 금속이나 콘크리트처럼 보이는 물체의 물감을 구분하는 데 기여함을 보여주며, 명시적 맥락 통합의 가치를 확인한다.