[논문 리뷰] Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis

Andrew Stevens, Yunchen Pu외 3명|ArXiv.org|2016. 12. 08.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 임의의 순서의 텐서에 대해 과잉완성적이고 랭크 적응형 분해를 가능하게 하는 베이지안 비모수 텐서-사전 학습 모델인 크루스칼-팩터 분석(KFA)을 제안한다. KFA는 텐서 변수 자료를 크루스칼 분해의 희박한 합으로 표현하며, 이는 다중 방향 노이즈 제거, 블라인드 인painting(PSNR 향상 1dB 이상), Caltech101 이미지 분류에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 BPFA, 텐서 분해, 컨볼루션 네트워크(CNN)보다도 핵심 벤치마크에서 뛰어난 성능을 보였다.

ABSTRACT

A multi-way factor analysis model is introduced for tensor-variate data of any order. Each data item is represented as a (sparse) sum of Kruskal decompositions, a Kruskal-factor analysis (KFA). KFA is nonparametric and can infer both the tensor-rank of each dictionary atom and the number of dictionary atoms. The model is adapted for online learning, which allows dictionary learning on large data sets. After KFA is introduced, the model is extended to a deep convolutional tensor-factor analysis, supervised by a Bayesian SVM. The experiments section demonstrates the improvement of KFA over vectorized approaches (e.g., BPFA), tensor decompositions, and convolutional neural networks (CNN) in multi-way denoising, blind inpainting, and image classification. The improvement in PSNR for the inpainting results over other methods exceeds 1dB in several cases and we achieve state of the art results on Caltech101 image classification.

연구 동기 및 목표

• 기존의 텐서-사전 학습 방법이 저차수, 분리 가능 또는 浅층적 표현에 국한되어 있는 한계를 해결하기 위해.
• 텐서 변수 자료 표현에서 사전 원소의 수와 각 원소의 랭크를 사전 가정 없이 비모수적으로 추론할 수 있는 비모수 베이지안 모델을 개발하기 위해.
• 대규모 데이터셋에서의 확장 가능한 학습과 향상된 특징 표현을 위해 모델의 온라인 및 딥 컨볼루션 확장 가능성을 확보하기 위해.
• 사전 원소의 수가 텐서의 랭크를 초과하는 랭크 과잉완성성(rank-overcompleteness)이 실제 작업에서 희박성, 강건성 및 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• KFA는 각 원소가 낮은 랭크를 가지며 비모수적으로 랭크가 추론되는 저랭크 텐서로 구성된 크루스칼 분해의 희박한 합으로 텐서 변수 자료를 모델링한다.
• 모델은 공액 사전을 사용하여 효율적인 깁스 샘플링을 가능하게 하는 계층적 베타-베르누이 프로세스를 사용하여 가중치 행렬의 희박성을 유도한다.
• 딥 컨볼루션 확장에 대해 베이지안 서포트 벡터 머신(Bayesian SVM)을 사용하여 지도 학습을 가능하게 하며, 분류 기반의 미세조정을 통한 엔드 투 엔드 학습을 지원한다.
• 블록 조건부 분포 인수분해(BCDF) 기반의 온라인 학습 변형은 대규모 데이터셋에서 미니배치 추론을 가능하게 한다.
• 딥 컨볼루션 확장인 크루스칼 DGDN은 각 레이어에서 랭크 과잉완성적이고 구조화된 사전 원소를 사용하며, 풀링과 계층적 특징 학습을 수행한다.
• 크루스칼 분해에 내재된 저랭크 구조와 희박성 제약 조건을 활용하여 블라인드 인painting 및 노이즈 제거를 지원한다.

실험 결과

연구 질문

• RQ1 비모수적 텐서-사전 모델이 사전 가정 없이 텐서 변수 자료 표현에서 원소의 수와 각 원소의 랭크를 추론할 수 있는가?
• RQ2 사전 원소의 수가 텐서의 랭크를 초과하는 랭크 과잉완성성은 희박성, 강건성 및 텐서 분해 성능에 어떤 영향을 미치는가?
• RQ3 딥 컨볼루션 텐서-요약 분석 모델이 표준 CNN과 벡터화된 사전 학습 모델보다 이미지 분류 및 노이즈 제거 작업에서 뛰어난 성능을 내는가?
• RQ4 제안된 KFA 모델이 BPFA, 텐서 분해 및 CNN과 비교해 다중 방향 노이즈 제거 및 블라인드 인painting에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 모델은 온라인 학습으로 확장될 수 있으며, 대규모 데이터셋에서 높은 성능 유지를 유지할 수 있는가?

주요 결과

• KFA는 Caltech101 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Kruskal DGDN은 카테고리당 30장의 이미지만으로 88.3%의 정확도를 기록했다.
• 블라인드 인painting에서 KFA는 다양한 데이터셋에서 기준 방법 대비 1dB 이상의 PSNR 향상을 보이며 뛰어난 재구성 품질을 입증했다.
• Kruskal DGDN 모델은 표준 DGDN 및 기타 딥 모델을 초월했으며, MNIST에서 0.35%의 오차율을 기록하여 단일 2층 모델로 35개의 CNN 위원회 수준의 성능을 달성했다.
• 딥 CKFA 모델은 깊이가 증가함에 따라 점점 더 분류에 유용한 특징을 추출했으며, 3층 모델은 카테고리당 30장의 이미지만으로 Caltech101에서 69.9%의 정확도를 달성했다.
• 작은 학습 세트에 대해 모델은 강건성을 보였으며, Kruskal DGDN은 다양한 학습 크기에서 MNIST에서 DGDN 및 이전의 스토케스틱 풀링 방법을 일관되게 능가했다.
• 결과는 랭크 과잉완성성이 희박성과 모델의 강건성을 향상시키는 데 핵심적인 역할을 한다는 것을 확인했으며, 랭크, 희박성 및 과잉완성성 간의 상호작용은 향후 연구가 필요하다.