[논문 리뷰] What is the right way to represent document images?

Gabriela Csurka, Diane Larlus외 2명|arXiv (Cornell University)|2016. 03. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 분류, 클러스터링, 검색 작업 전반에 걸쳐 얕은 특징(예: RunLength, Fisher Vector), 깊은 CNN 특징, 하이브리드 아키텍처를 포함한 세 가지 문서 이미지 표현 방법을 벤치마킹한다. 도메인 이탈이 최소한일 경우 깊은 특징이 다른 특징들보다 뛰어난 성능을 보이며, 레이아웃 변동성과 종횡비 변화에 강건한 특성 덕분에 대규모 도메인 이탈 상황에서는 PCA 감소를 적용한 Fisher Vector 특징이 더 잘 일반화됨을 발견하였다.

ABSTRACT

In this article we study the problem of document image representation based on visual features. We propose a comprehensive experimental study that compares three types of visual document image representations: (1) traditional so-called shallow features, such as the RunLength and the Fisher-Vector descriptors, (2) deep features based on Convolutional Neural Networks, and (3) features extracted from hybrid architectures that take inspiration from the two previous ones. We evaluate these features in several tasks (i.e. classification, clustering, and retrieval) and in different setups (e.g. domain transfer) using several public and in-house datasets. Our results show that deep features generally outperform other types of features when there is no domain shift and the new task is closely related to the one used to train the model. However, when a large domain or task shift is present, the Fisher-Vector shallow features generalize better and often obtain the best results.

연구 동기 및 목표

• 얕은 특징(예: RunLength, Fisher Vector), 깊은 CNN 특징, 하이브리드 아키텍처의 세 가지 유형의 문서 이미지 표현 방식을 평가하고 비교하는 것.
• 이러한 특징들이 분류, 클러스터링, 검색 등의 다수 작업에서 성능을 어떻게 보이는지 평가하는 것.
• 특히 도메인 이탈 상황에서 다양한 데이터셋과 작업 간 특징의 이식 가능성(트랜스퍼러빌리티)을 조사하는 것.
• 하이브리드 아키텍처가 얕은 특징의 효율성과 깊은 모델의 성능 사이에 실용적인 균형을 이룰 수 있는지 판단하는 것.
• 데이터셋 유사성과 작업 요구사항에 기반하여 최적의 표현 방법을 선택하는 데 실증적 지침을 제공하는 것.

제안 방법

• 공간 피ラ미드 풀링을 사용하여 RunLength 인코딩과 Fisher Vector 서술자로부터 얕은 특징을 추출하였다.
• 사전 훈련된 컨volutional 신경망(GoogLeNet, VGG 등)을 훈련 및 미세조정하여 여러 층의 깊은 활성화 특징을 추출하였다.
• 얕은 특징(예: FV256)과 학습 가능한 레이어를 조합하여 하이브리드 아키텍처를 구성하였으며, 이는 엔드 투 엔드 훈련을 가능하게 하면서도 해석 가능성을 유지하였다.
• 효율성과 일반화 성능 향상을 위해 Fisher Vector 차원을 감소시키기 위해 PCA를 적용하였다(예: FV256+PCA).
• 공개(RVL-CDIP, CLEF-IP) 및 내부 데이터셋(IH1, IH2, IH3)을 사용하여 도메인 이탈이 통제된 표준 프로토콜에 따라 특징을 평가하였다.
• 일부 특징의 일반화 및 이식 가능성 분석을 위해 작업 및 데이터셋 간 탈리티스터디(ablation studies)를 수행하였다.

실험 결과

연구 질문

• RQ1 도메인 이탈이 없는 상황에서 깊은 CNN 특징이 얕은 특징 및 하이브리드 특징보다 문서 이미지 분류에서 일관되게 뛰어나게 되는가?
• RQ2 순수한 얕은 특징 또는 깊은 특징에 비해 하이브리드 아키텍처는 데이터셋과 작업 간에 얼마나 잘 일반화되는가?
• RQ3 어떤 조건에서 PCA 감소를 적용한 Fisher Vector 특징이 문서 이미지 이해에서 깊은 CNN 특징을 초월하는가?
• RQ4 레이아웃 변화, 종횡비 변화 또는 클래스 분포 변화 등 도메인 이탈이 다양한 특징 유형의 성능에 어떻게 영향을 미치는가?
• RQ5 하이브리드 아키텍처는 문서 이미지 표현에서 성능과 훈련 비용 사이에 유리한 트레이드오프를 달성할 수 있는가?

주요 결과

• 도메인 이탈이 없는 경우, 깊은 CNN 특징(예: CNN-G-i4e)이 분류, 클러스터링, 검색 작업 전반에서 최고의 성능을 기록하였다.
• 하이브리드 아키텍처는 깊은 CNN과 거의 유사한 성능을 보였지만 훈련 비용이 크게 줄어들어 자원 제약 상황에서 강력한 대안이 되었다.
• 대규모 도메인 이탈 상황, 특히 내부 클래스 변동성이 높거나 종횡비 변화가 있는 경우, FV256+PCA는 깊은 특징과 얕은 특징을 모두 초월하여 일관되게 뛰어난 성능을 보였다.
• 레이아웃 기하학이 중요한 데이터셋(예: 세부 레이아웃 기반 카테고리가 있는 IH2)에서는 CNN 활성화 특징(예: CNN-A-p5)이 FV 기반 특징보다 뛰어났다.
• 세부 고객 기반 문서 클래스가 있는 IH3 데이터셋에서는 CNN-G-i4e 특징이 가장 우수한 검색 성능을 기록했지만, 고객 기반 변동성으로 인해 관련성은 종종 영향을 받았다.
• 5층 공간 피라미드를 적용한 RunLength 서술자(RL+SP)는 IH2에서 클러스터링 및 검색 작업에서 FV256를 능가하여, 단순하고 기하학적 특징을 고려한 얕은 특징이 레이아웃 민감 조건에서 경쟁력이 있음을 시사하였다.