[논문 리뷰] Attention-based Image Upsampling

Souvik Kundu, Hesham Mostafa외 2명|arXiv (Cornell University)|2020. 12. 17.

Advanced Image Processing Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 이미지 초해상도 및 복합 이미지 업샘플링 작업에서 스트라이드가 있는 역전치 컨벌루션을 대체하기 위해 내용에 적응하는 어텐션 계수를 사용하는 어텐션 기반 업샘플링 메커니즘을 제안한다. 콘텐츠에 따라 동적으로 업샘플링 커널을 계산하는 방식으로, 더 적은 파라미터로 뛰어난 성능을 달성하면서도, 서로 다른 소스에서 온 별도의 쿼리, 키, 밸류 텐서를 통해 다양한 이미지 모odal리티의 유연한 융합을 가능하게 한다.

ABSTRACT

Convolutional layers are an integral part of many deep neural network solutions in computer vision. Recent work shows that replacing the standard convolution operation with mechanisms based on self-attention leads to improved performance on image classification and object detection tasks. In this work, we show how attention mechanisms can be used to replace another canonical operation: strided transposed convolution. We term our novel attention-based operation attention-based upsampling since it increases/upsamples the spatial dimensions of the feature maps. Through experiments on single image super-resolution and joint-image upsampling tasks, we show that attention-based upsampling consistently outperforms traditional upsampling methods based on strided transposed convolution or based on adaptive filters while using fewer parameters. We show that the inherent flexibility of the attention mechanism, which allows it to use separate sources for calculating the attention coefficients and the attention targets, makes attention-based upsampling a natural choice when fusing information from multiple image modalities.

연구 동기 및 목표

• 이미지 업샘플링 작업에서 고정 커널을 사용하는 스트라이드가 있는 역전치 컨벌루션의 한계를 해결하기 위해.
• 자기 어텐션 메커니즘이 업샘플링 연산의 성능과 파라미터 효율성 향상에 기여할 수 있는지 탐색하기 위해.
• 쿼리/키 및 밸류 소스를 분리함으로써 복합 업샘플링에서 다중 이미지 모달리티의 융합을 더욱 영리하게 가능하게 하기 위해.
• 어텐션 기반 업샘플링이 표준 디컨볼루션보다 뛰어난 성능을 보이며 더 적은 파라미터를 사용하는 것을 입증하기 위해.

제안 방법

• 스트라이드가 있는 역전치 컨벌루션을 콘텐츠에 의존하는 어텐션 계수를 기반으로 업샘플링 가중치를 계산하는 자기 어텐션 메커니즘으로 대체한다.
• 스케일드 닷프로덕트 어텐션을 사용하여 특징 맵에서 쿼리, 키, 밸류 텐서를 계산함으로써 동적 커널 생성을 가능하게 한다.
• 쿼리, 키, 밸류 텐서를 별도로 제공할 수 있도록 허용함 — 예를 들어, 서로 다른 이미지 모달리티에서 옴 — 이를 통해 다중 모달리티 융합이 가능하다.
• 초해상도 및 복합 업샘플링 네트워크에서 디컨볼루션의 즉각적인 대체로 어텐션 기반 업샘플링 레이어를 적용한다.
• 수신 필드 콘텐츠에 따라 공간적으로 변하는 커널 가중치를 갖는 콘텐츠 인식 어텐션 메커니즘을 활용한다.
• 고정 커널 방법 대비 성능을 유지하거나 향상시키면서도 파라미터 수를 줄이기 위해 어텐션 메커니즘을 최적화한다.

실험 결과

연구 질문

• RQ1 자기 어텐션 메커니즘이 스트라이드가 있는 역전치 컨벌루션 대비 이미지 업샘플링 성능을 향상시킬 수 있는가?
• RQ2 어텐션 기반 업샘플링은 초해상도 작업에서 정확도를 유지하거나 향상시키면서도 파라미터 수를 줄일 수 있는가?
• RQ3 어텐션 기반 업샘플링은 RGB 및 깊이 이미지와 같은 다양한 이미지 모달리티의 정보를 자연스럽게 통합할 수 있는가?
• RQ4 표준 디컨볼루션 기반 모델과 비교해 어텐션 기반 업샘플링 메커니즘은 효율성과 정확도 측면에서 어떻게 다른가?

주요 결과

• BSDS100 데이터셋에서 어텐션 기반 모델은 2배 확대 시 33.28 dB의 PSNR를 기록하여 디컨볼루션 기반 모델의 33.25 dB보다 略적으로 뛰어나다.
• 8배 초해상도에서 어텐션 기반 방법은 24.80 dB의 PSNR를 기록했고, 디컨볼루션 대비 24.74 dB로 일관된 향상을 보였다.
• Set5 데이터셋에서 어텐션 기반 모델은 2배 확대 시 36.84 dB의 PSNR를 기록하여 디컨볼루션 모델의 36.86 dB보다 약간 떨어지지만, 다양한 확대 비율에서 유사한 추세를 보였다.
• 어텐션 기반 모델은 디컨볼루션 기반 모델보다 유의미하게 적은 파라미터를 사용하면서도 성능을 유지하거나 향상시켰다.
• 복합 이미지 업샘플링에서, 쿼리/키를 한 모달리티에서, 밸류를 다른 모달리티에서 가져오는 방식으로 융합을 효과적으로 가능하게 하여 정확도와 파라미터 효율성을 향상시켰다.
• 낮은 파라미터 수에도 불구하고, 딥러닝 라이브러리에서 어텐션 기반 연산을 위한 최적화된 저수준 커널이 부족하여 학습 속도가 느리다.