[논문 리뷰] Recognizing Material Properties from Images

Gabriel Schwartz, Ko Nishino|arXiv (Cornell University)|2018. 01. 09.

Industrial Vision Systems and Defect Detection참고 문헌 13인용 수 6

한 줄 요약

이 논문은 인간의 인지에서 유도된 약한 감독 신호를 통해 이미지 패치에서 '부드러운' 또는 '반짝이는'과 같은 국소적으로 식별 가능한 시각적 재료 속성—'재질 특성'—을 인식하는 방법을 제안한다. 이는 인간의 인지에 기반한 예/아니요 비교 질문을 통해 약한 감독을 활용한다. 종단간 MAC-CNN 프레임워크를 도입하여 이름이 없는, 인지적으로 의미 있는 재질 특성을 발견하고, 최소한의 주석 정보로도 재질 인식 및 제로샷 일반화 성능을 향상시키며, 소수의 예시로도 높은 정확도를 달성한다.

ABSTRACT

Humans rely on properties of the materials that make up objects to guide our interactions with them. Grasping smooth materials, for example, requires care, and softness is an ideal property for fabric used in bedding. Even when these properties are not visual (e.g. softness is a physical property), we may still infer their presence visually. We refer to such material properties as visual material attributes. Recognizing these attributes in images can contribute valuable information for general scene understanding and material recognition. Unlike well-known object and scene attributes, visual material attributes are local properties with no fixed shape or spatial extent. We show that given a set of images annotated with known material attributes, we may accurately recognize the attributes from small local image patches. Obtaining such annotations in a consistent fashion at scale, however, is challenging. To address this, we introduce a method that allows us to probe the human visual perception of materials by asking simple yes/no questions comparing pairs of image patches. This provides sufficient weak supervision to build a set of attributes and associated classifiers that, while unnamed, serve the same function as the named attributes we use to describe materials. Doing so allows us to recognize visual material attributes without resorting to exhaustive manual annotation of a fixed set of named attributes. Furthermore, we show that this method may be integrated in the end-to-end learning of a material classification CNN to simultaneously recognize materials and discover their visual attributes. Our experimental results show that visual material attributes, whether named or automatically discovered, provide a useful intermediate representation for known material categories themselves as well as a basis for transfer learning when recognizing previously-unseen categories.

연구 동기 및 목표

• 전체 이미지의 맥락이 아닌 국소적인 이미지 패치에서 '부드러운' 또는 '반짝이는'과 같은 시각적 재질 특성—예를 들어 '재질 특성'—을 인식하는 것.
• 이름이 부여된 재질 특성에 대한 수동 주석의 확장성 문제를 인간의 인지에서 유도된 약한 감독을 통해 해결하는 것.
• 사전에 정의된 의미적 레이블에 의존하지 않고, 쌍별 비교 질문을 통해 이름이 없는, 인지적으로 관련 있는 시각적 재질 특성을 발견하는 것.
• 재질 분류와 시각적 재질 특성 학습을 동시에 수행할 수 있도록, 종단간 딥 러닝 프레임워크(MAC-CNN)에 특성 발견을 통합하는 것.
• 발견된 특성이 제로샷 및 원샷 재질 인식에서 어떻게 유용한지 평가하는 것—특히 이전에 보지 못한 카테고리에 대해서도 성능을 향상시키는지 확인하는 것.

제안 방법

• 재질 외관에 대한 인간의 인지에서 유도된 약한 감독을 위해 쌍별 예/아니요 질문(예: '패치 A는 패치 B보다 더 부드러운가?')을 사용한다.
• 이 약한 감독을 활용해 인간의 인지 범주와 유사한 이름이 없는 국소적으로 식별 가능한 시각적 재질 특성을 학습한다.
• 국소적인 이미지 패치에서 재질 카테고리와 시각적 재질 특성을 동시에 예측할 수 있는 다중특성 분류 컨볼루션 네트워크(MAC-CNN)를 설계한다.
• 재질 주석과 약한 특성 감독을 조합하여 MAC-CNN를 종단간으로 훈련함으로써 공동 최적화를 가능하게 한다.
• 이미지 패치에 슬라이딩 윈도우 추론을 적용하여 재질 카테고리와 시각적 특성에 대한 픽셀 단위의 확률 맵을 생성한다.
• 단일 예제 학습을 위해 선형 SVM를 사용하여, 단지 소수의 예시와 예측된 특성 확률을 기반으로 새로운 카테고리의 인식 성능을 평가한다.

실험 결과

연구 질문

• RQ1 부드러운' 또는 '반짝이는'과 같은 시각적 재질 특성은 순수하게 국소적인 이미지 패치에서 정확하게 인식될 수 있는가?
• RQ2 사전에 정의된 의미적 레이블에 의존하지 않고, 인간의 인지에서 기인한 약한 감독만으로 이름이 없는 시각적 재질 특성을 자동으로 발견할 수 있는가?
• RQ3 발견된 특성은 재질 인식 성능을 향상시킬 수 있는가, 특히 제로샷 또는 소수의 예제가 있는 설정에서 성능 향상이 이루어지는가?
• RQ4 종단간 MAC-CNN 프레임워크는 재질 카테고리와 시각적 재질 특성을 동시에 학습하는 데 얼마나 효과적인가?
• RQ5 시각적 재질 특성은 재질 카테고리 간 전이 학습을 위해 얼마나 유용한 중간 표현으로 기능하는가?

주요 결과

• 시각적 재질 특성은 국소적으로 식별 가능하며, 전체 맥락 없이도 작은 이미지 패치만으로도 높은 정확도로 예측 가능하다.
• 예/아니요 비교 질문을 통한 약한 감독 방법이 인간의 인지 범주와 일치하는 이름이 없는 시각적 재질 특성을 성공적으로 발견한다.
• MAC-CNN 프레임워크는 재질 인식과 특성 예측에서 뛰어난 성능을 보이며, 특성이 원시적인 재질 확률 이외의 새로운, 구분 가능한 정보를 제공한다는 것이 입증된다.
• 원샷 학습에서, 새로운 카테고리당 단 10개의 학습 예시로도 빠르게 정확도가 안정화되며, 강력한 일반화 능력을 보여준다.
• 특성 기반 분류가 재질 전용 또는 재질+특성 병합 기반의 베이스라인보다 성능이 뛰어나며, 특성이 의미 있고 이식 가능한 특징을 드러낸다는 점을 확인한다.
• 이 프레임워크는 전체 인스턴스 수준의 세그멘테이션 없이도 국소 정보만으로도 픽셀 단위의 재질 확률 맵을 생성할 수 있으며, 이는 강건성을 보여준다.