[논문 리뷰] Channel Vision Transformers: An Image Is Worth 1 x 16 x 16 Words

Yujia Bao, Srinivasan Sivanandan외 1명|arXiv (Cornell University)|2023. 09. 28.

Cell Image Analysis Techniques인용 수 6

한 줄 요약

ChannelViT는 입력 채널 각각을 별도의 시퀀스 차원으로 간주하고, 교차 채널 추론을 향상시키기 위해 학습 가능한 채널 임베딩을 사용하는 비전 트랜스포머 변종을 제안한다. 이는 ImageNet, JUMP-CP, So2Sat에서 표준 ViT를 능가하며, 특히 희소 채널 조건에서 뛰어난 성능을 보이며, 계층적 채널 샘플링(Hierarchical Channel Sampling, HCS) 덕분에 테스트 시 부분적인 채널만 이용 가능한 상황에서도 강력한 내성 확보를 한다.

ABSTRACT

Vision Transformer (ViT) has emerged as a powerful architecture in the realm of modern computer vision. However, its application in certain imaging fields, such as microscopy and satellite imaging, presents unique challenges. In these domains, images often contain multiple channels, each carrying semantically distinct and independent information. Furthermore, the model must demonstrate robustness to sparsity in input channels, as they may not be densely available during training or testing. In this paper, we propose a modification to the ViT architecture that enhances reasoning across the input channels and introduce Hierarchical Channel Sampling (HCS) as an additional regularization technique to ensure robustness when only partial channels are presented during test time. Our proposed model, ChannelViT, constructs patch tokens independently from each input channel and utilizes a learnable channel embedding that is added to the patch tokens, similar to positional embeddings. We evaluate the performance of ChannelViT on ImageNet, JUMP-CP (microscopy cell imaging), and So2Sat (satellite imaging). Our results show that ChannelViT outperforms ViT on classification tasks and generalizes well, even when a subset of input channels is used during testing. Across our experiments, HCS proves to be a powerful regularizer, independent of the architecture employed, suggesting itself as a straightforward technique for robust ViT training. Lastly, we find that ChannelViT generalizes effectively even when there is limited access to all channels during training, highlighting its potential for multi-channel imaging under real-world conditions with sparse sensors. Our code is available at https://github.com/insitro/ChannelViT.

연구 동기 및 목표

• 현미경 및 인공위성 영상과 같은 분야에서 채널이 의미적으로 다를 수 있고, 희소하게 이용 가능한 다중 채널 영상 문제를 해결하기 위해.
• 공간적 위치와 입력 채널 간의 통합적 추론을 가능하게 하여 비전 트랜스포머(ViT)의 성능을 향상시키기 위해.
• 추론 시 입력 채널의 일부만 이용 가능한 것이 일반적인 실제 상황에서 모델의 내성 확보를 향상시키기 위해.
• 미래에 볼 수 없는 채널 조합에 대한 일반화를 보장하는 정규화 기법을 도입하기 위해.
• 채널별 표현이 주의 맵에서의 해석 가능성과 기능 국소화를 향상시킬 수 있는지 검증하기 위해.

제안 방법

• ChannelViT는 각 입력 채널에서 독립적으로 패치 토큰을 생성하며, 패치 임bedding 과정에서 각 채널을 별도의 시퀀스로 간주한다.
• 각 패치 토큰에 추가되는 학습 가능한 채널 임베딩을 도입하여 채널 고유의 정보를 유지한다. 이는 위치 임베딩과 유사하게 기능한다.
• 모든 채널에 공통으로 사용하는 선형 투영과 위치 임베딩을 사용하여 아키텍처의 효율성을 유지하면서도 교차 채널 어텐션을 가능하게 한다.
• 계층적 채널 샘플링(Hierarchical Channel Sampling, HCS)은 정규화 기법으로 도입되며, 먼저 채널 수를 샘플링하고, 그 다음에 균일하게 특정 채널 구성 조합을 선택함으로써 채널 희소성에 대한 내성을 향상시킨다.
• HCS는 채널 드롭아웃과 다릅니다. HCS는 모든 채널 수에 대해 균일한 가중치를 할당하여 특정 채널 조합에 대한 편향을 줄인다.
• 아키텍처는 ImageNet, JUMP-CP(현미경), So2Sat(인공위성 영상)에서 평가되었으며, 채널 부분집합 일반화에 대한 분석도 수행되었다.

Figure 1: Illustration of Channel Vision Transformer (ChannelViT). The input for ChannelViT is a cell image from JUMP-CP, which comprises five fluorescence channels (colored differently) and three brightfield channels (colored in B&W). ChannelViT generates patch tokens for each individual channel, u

실험 결과

연구 질문

• RQ1 영상 작업에서 의미적으로 다를 수 있는 다수의 입력 채널을 효과적으로 추론할 수 있도록 비전 트랜스포머를 적절히 변형할 수 있는가?
• RQ2 제안된 ChannelViT 아키텍처는 다중 채널 영상 환경에서 표준 ViT에 비해 성능과 내성 확보에 어떻게 향상되는가?
• RQ3 테스트 시 일부 채널만 이용 가능한 상황에서 계층적 채널 샘플링(HCS)이 일반화 능력을 얼마나 향상시키는가?
• RQ4 학습 가능한 채널 임베딩은 주의 맵에서의 해석 가능성과 기능 국소화를 향상시킬 수 있는가?
• RQ5 모델은 완전하지 않은 채널 세트로 훈련된 후, 볼 수 없는 채널 조합으로 테스트해도 강력한 성능을 유지하는가?

주요 결과

• ImageNet에서 ChannelViT는 HCS를 사용할 경우 66.22%의 top-1 정확도를 기록하여, ViT의 52.06%를 뛰어넘었다.
• JUMP-CP 현미경 벤치마크에서 ChannelViT-S/16는 4개 채널로 테스트할 경우 ViT-S/16 대비 14.28%의 상대적 향상률을 보였으며, 8개 채널로 훈련하고 7개 채널로 테스트할 경우 35.13%의 향상률을 기록했다.
• 빨간색 채널만 사용할 경우, HCS는 ImageNet 검증 정확도를 29.39%에서 68.86%로 끌어올려 채널 희소성에 대한 강력한 내성을 입증했다.
• HCS는 ViT와 ChannelViT 양쪽에서 일관되게 일반화 능력을 향상시켰으며, FAN-S/16(선형 패치)가 HCS로 훈련된 경우 부분 채널 테스트에서 비-HCS 대비 더 높은 성능을 기록했다.
• ChannelViT의 주의 맵 시각화 결과는 의미 있는 채널별 기능 중요도를 반영하여, 공간적 및 스펙트럼적 차원에서 모델의 해석 가능성을 향상시켰다.
• ChannelViT의 학습된 채널 임베딩은 해석 가능한 의미적 역할을 나타내어, 모델이 구체적인 채널 정보를 효과적으로 식별하고 활용하고 있음을 시사한다.

Figure 2: Correlation patterns among image channels (left) and the learned channel embeddings (right) for ImageNet, JUMPCP, and So2Sat. ImageNet displays a strong correlation among the three RGB input channels while JUMPCP and So2Sat show minimal correlation between different signal sources (Fluores