[논문 리뷰] TFill: Image Completion via a Transformer-Based Architecture.

Chuanxia Zheng, Tat‐Jen Cham외 1명|arXiv (Cornell University)|2021. 04. 02.

Visual Attention and Saliency Detection인용 수 13

한 줄 요약

TFill는 이미지 완성 문제를 순서 없는 시퀀스-투-시퀀스 예측 문제로 간주하여 트랜스포머 아키텍처를 활용해 전역적 맥락을 모델링하는 이미지 완성 프레임워크를 제안한다. 작은 수신장이지만 겹치지 않는 수신장의 제약 있는 CNN을 사용해 이미지 토큰을 표현함으로써, 근접한 픽셀에 대한 편향 없이 장거리 상관관계를 명시적으로 모델링할 수 있도록 한다. 이는 전역적 자기주의 인코더와 외부 정보를 반영한 레이어를 결합함으로써 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 표준 자기주의의 고립 현상(insula effect)을 완화하고 외관 일관성을 향상시키는 데 기여한다.

ABSTRACT

Bridging distant context interactions is important for high quality image completion with large masks. Previous methods attempting this via deep or large receptive field (RF) convolutions cannot escape from the dominance of nearby interactions, which may be inferior. In this paper, we propose treating image completion as a directionless sequence-to-sequence prediction task, and deploy a transformer to directly capture long-range dependence in the encoder in a first phase. Crucially, we employ a restrictive CNN with small and non-overlapping RF for token representation, which allows the transformer to explicitly model the long-range context relations with equal importance in all layers, without implicitly confounding neighboring tokens when larger RFs are used. In a second phase, to improve appearance consistency between visible and generated regions, a novel attention-aware layer (AAL) is introduced to better exploit distantly related features and also avoid the insular effect of standard attention. Overall, extensive experiments demonstrate superior performance compared to state-of-the-art methods on several datasets.

연구 동기 및 목표

• 큰 마스크를 가진 이미지 완성 과정에서 컨볼루션 네트워크가 먼 맥락 상호작용을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 깊거나 큰 수신장을 가진 컨볼루션에서 근접한 픽셀 상호작용의 지배적 영향으로 인해 완성 품질이 떨어지는 문제를 해결하기 위해.
• 큰 수신장에 의해 암시적인 편향을 받지 않고, 이미지 전역에서 장거리 상관관계를 동일한 주의를 기반으로 명시적으로 모델링할 수 있도록 하기 위해.
• 새로운 주의 인식 레이어를 통해 생성된 영역과 가시 영역 간의 외관 일관성을 향상시키기 위해.
• 전역 맥락 모델링과 국소적 특징 보정을 조합하여 뛰어난 이미지 완성 성능을 달성하기 위해.

제안 방법

• 이미지 완성 문제를 순서 없는 시퀀스-투-시퀀스 예측 문제로 간주하여, 트랜스포머 아키텍처를 활용해 전역 맥락을 모델링할 수 있도록 한다.
• 이미지 토큰을 표현하기 위해 작은, 겹치지 않는 수신장을 가진 제약 있는 CNN을 사용하여, 장거리 상관관계가 국소적 이웃의 지배성에 의해 암시적으로 편향되지 않도록 보장한다.
• 첫 번째 단계에서 전체 이미지 전역에서 장거리 상관관계를 캡처하기 위해 표준 트랜스포머 인코더를 사용하며, 자기주의 메커니즘이 모든 토큰에 균일하게 작용하도록 한다.
• 두 번째 단계에서 표준 자기주의의 고립 현상을 줄이고 먼 관련 특징을 더 잘 활용하기 위해 주의 인식 레이어(AAL)를 도입한다.
• 트랜스포머에서 생성된 전역 맥락 표현과 AAL을 조합하여 생성 영역을 보정하면서도 가시 영역과의 일관성을 유지한다.
• 두 단계 학습 전략을 사용한다: 첫 번째 단계는 트랜스포머를 통한 전역 맥락 모델링, 두 번째 단계는 AAL을 통한 국소적 보정을 통해 시각적 타당성을 향상시킨다.

실험 결과

연구 질문

• RQ1 TFill의 트랜스포머 기반 아키텍처는 근접한 픽셀 상호작용에 편향되지 않고 장거리 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 작은 수신장의 CNN을 토큰 표현에 사용함으로써, 큰 또는 깊은 컨볼루션 대비 더 균형 잡힌 먼 맥락 모델링이 가능한가?
• RQ3 주의 인식 레이어(AAL)는 생성된 영역와 가시 영역 간의 외관 일관성을 어느 정도 향상시키는가?
• RQ4 정량적 및 정성적 이미지 완성 성능 측면에서 제안된 방법은 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 전역 자기주의와 특수화된 보정 레이어의 조합이 다양한 데이터셋과 큰 마스크를 가진 상황에서 기존 방법들을 능가할 수 있는가?

주요 결과

• TFill은 여러 벤치마크 데이터셋에서 최신 기술 수준의 방법들보다 뛰어난 이미지 완성 성능을 달성한다.
• 작고 겹치지 않는 수신장을 가진 CNN을 사용함으로써, 트랜스포머가 모든 공간 위치에서 동일한 중요도로 장거리 상관관계를 모델링할 수 있다.
• 주의 인식 레이어(AAL)는 표준 자기주의의 고립 현상을 크게 감소시켜 더 일관되고 조화로운 생성 영역을 만들어낸다.
• 광범위한 실험을 통해 TFill이 정량적 지표와 정성적 시각 품질 양면에서 기존 방법들을 능가함을 입증한다.
• 이 방법은 먼 맥락 상호작용을 효과적으로 연결하여 큰 마스크를 가진 고품질 이미지 완성에 필수적인 요소를 확보한다.
• 전역 맥락 모델링 이후 외관 인식 보정을 수행하는 두 단계 설계는 전역 일관성과 국소적 현실감을 효과적으로 균형 잡는 데 성공했다.