[논문 리뷰] Compositional Hierarchical Tensor Factorization: Representing Hierarchical Intrinsic and Extrinsic Causal Factors

M. Alex O. Vasilescu, Eui Hyeok Kim|arXiv (Cornell University)|2019. 11. 11.

Tensor decomposition and applications참고 문헌 67인용 수 11

한 줄 요약

이 논문은 전체와 부분의 유니티 텐서 모델을 사용하여 시각적 물체 외관의 내재적(예: 형태, 반사율) 및 외재적(예: 조명, 시점) 인과적 요인을 분리하는 복합 계층 텐서 분해(ChTF)를 제안한다. 최소한의 합성 데이터로부터 통계적으로 불변인 계층적 표현을 학습함으로써, 이 방법은 LFW 데이터셋에서 79.8%의 얼굴 인식 정확도를 달성한다. 이는 DeepFace가 100배 더 많은 데이터를 사용해 달성한 97.35%에 비해 놀랍게 높은 성능이며, 막힘과 데이터 부족에 대한 강건성을 입증한다.

ABSTRACT

Visual objects are composed of a recursive hierarchy of perceptual wholes and parts, whose properties, such as shape, reflectance, and color, constitute a hierarchy of intrinsic causal factors of object appearance. However, object appearance is the compositional consequence of both an object's intrinsic and extrinsic causal factors, where the extrinsic causal factors are related to illumination, and imaging conditions. Therefore, this paper proposes a unified tensor model of wholes and parts, and introduces a compositional hierarchical tensor factorization that disentangles the hierarchical causal structure of object image formation, and subsumes multilinear block tensor decomposition as a special case. The resulting object representation is an interpretable combinatorial choice of wholes' and parts' representations that renders object recognition robust to occlusion and reduces training data requirements. We demonstrate ourapproach in the context of face recognition by training on an extremely reduced dataset of synthetic images, and report encouragingface verification results on two datasets - the Freiburg dataset, andthe Labeled Face in the Wild (LFW) dataset consisting of real world images, thus, substantiating the suitability of our approach for data starved domains.

연구 동기 및 목표

• 내재적 및 외재적 인과적 요인에 의해 지배되는 시각적 물체를 인지적 전체와 부분의 재귀적 계층으로 모델링하는 것.
• 이미지 형성에서 계층적 내재적 및 외재적 인과적 요인을 분리하는 통합 텐서 프레임워크를 개발하는 것.
• 장애물에 강건하고 데이터 요구량을 줄이는 데 기여하는 해석 가능한 조합적 표현을 생성하는 것.
• 합성 훈련 데이터를 사용하여 저자료 환경에서의 방법을 검증하는 것, 특히 얼굴 인식에 초점하여.
• 합성 데이터만으로 훈련되었음에도 불구하고 실제 세계의 제약 없는 이미지로의 일반화 능력을 입증하는 것.

제안 방법

• 이 방법은 계층적 내재적(전체와 부분) 및 외재적(조명, 시점) 인과적 요인 간의 다중선형 상호작용을 계층적 텐서 모델을 사용하여 물체 외관을 모델링한다.
• 다중선형 블록 텐서 분해를 일반화하고 인과적 요인의 분리를 가능하게 하는 복합 계층 텐서 분해(ChTF)를 도입한다.
• 요소화된 표현에서 복합 개인 서명을 계산하기 위해 다중선형 투영 알고리즘을 사용하여 비교한다.
• 얼굴 영상들은 템플릿에 대한 조각별 아핀 왜곡을 통해 사전 처리되며, 영상 조각에 대한 적응형 히스토그램 평준화를 통한 조명 정규화와 가우시안/라플라시안 필터를 사용한 컨볼루션을 통해 영상 피라미드를 구축한다.
• 피라미드 레이어에서 부분을 분할하고, 가중치가 부여된 최근접 이웃 분류기를 사용하여 서명을 계산한다.
• 모델은 100명의 주제에 대해 15개의 시점과 15개의 조명 조건에서 렌더링된 합성 3D 영상으로 훈련되었으며, 훈련에 실제 세계 데이터를 사용하지 않았다.

실험 결과

연구 질문

• RQ1 통합 텐서 모델이 시각적 물체의 전체와 부분의 계층적 조합을 효과적으로 표현할 수 있는가?
• RQ2 복합 계층 텐서 분해가 이미지 형성에서 내재적 및 외재적 인과적 요인을 분리할 수 있는가?
• RQ3 이러한 분리된 표현이 최소한의 훈련 데이터로도 강건한 얼굴 인식을 달성할 수 있는가?
• RQ4 합성 데이터만으로 훈련되었음에도 불구하고 실제 세계의 제약 없는 얼굴 영상으로 일반화되는가?
• RQ5 데이터가 극도로 제한된 경우, 딥러닝 모델과 비교해 성능가 어떻게 되는가?

주요 결과

• 이 방법은 실제 세계의 제약 없는 벤치마크인 Labeled Faces in the Wild(LFW) 데이터셋에서 79.8%의 얼굴 인식 정확도를 달성했다.
• 이 결과는 DeepFace가 동일한 데이터셋에서 440만 장의 이미지를 사용해 달성한 97.35%의 정확도에 비해 훈련 데이터의 1%만으로 달성된 것이다.
• 분리된 계층적 표현 덕분에, 막힘과 자세, 조명 변화에 대한 강건성이 입증되었다.
• 딥러닝 모델이 수렴하거나 일반화하지 못하는 저자료 환경에서 표준 CNN보다 성능이 뛰어났다.
• 다중선형 투영에서 유도된 복합 개인 서명은 다양한 촬영 조건 간의 효과적인 비교를 가능하게 하였다.
• 결과적으로 CHTF 프레임워크가 데이터 부족 환경, 특히 생체 인식 및 물체 인식 분야에 적합함을 입증하였다.