[論文レビュー] Channel Vision Transformers: An Image Is Worth 1 x 16 x 16 Words

Yujia Bao, Srinivasan Sivanandan+1 more|arXiv (Cornell University)|Sep 28, 2023

Cell Image Analysis Techniques被引用数 6

ひとこと要約

ChannelViT は、入力チャネルごとに別々のシーケンス次元として扱い、学習可能なチャネル埋め込みを用いてチャネル間の推論を強化する Vision Transformer の変種を提案する。ImageNet、JUMP-CP、So2Sat において標準的な ViT を上回り、特にチャネルが疎な状況下でも優れた性能を示す。階層的チャネルサンプリング（HCS）により、テスト時に部分的なチャネルしか利用できない状況でも顕著にモデルのロバスト性が向上する。

ABSTRACT

Vision Transformer (ViT) has emerged as a powerful architecture in the realm of modern computer vision. However, its application in certain imaging fields, such as microscopy and satellite imaging, presents unique challenges. In these domains, images often contain multiple channels, each carrying semantically distinct and independent information. Furthermore, the model must demonstrate robustness to sparsity in input channels, as they may not be densely available during training or testing. In this paper, we propose a modification to the ViT architecture that enhances reasoning across the input channels and introduce Hierarchical Channel Sampling (HCS) as an additional regularization technique to ensure robustness when only partial channels are presented during test time. Our proposed model, ChannelViT, constructs patch tokens independently from each input channel and utilizes a learnable channel embedding that is added to the patch tokens, similar to positional embeddings. We evaluate the performance of ChannelViT on ImageNet, JUMP-CP (microscopy cell imaging), and So2Sat (satellite imaging). Our results show that ChannelViT outperforms ViT on classification tasks and generalizes well, even when a subset of input channels is used during testing. Across our experiments, HCS proves to be a powerful regularizer, independent of the architecture employed, suggesting itself as a straightforward technique for robust ViT training. Lastly, we find that ChannelViT generalizes effectively even when there is limited access to all channels during training, highlighting its potential for multi-channel imaging under real-world conditions with sparse sensors. Our code is available at https://github.com/insitro/ChannelViT.

研究の動機と目的

• 顕微鏡や衛星画像の分野において、チャネルが意味的に異なる情報を保持しており、かつ疎に利用可能な場合に多チャネル画像処理の課題に取り組むこと。
• 空間的位置と入力チャネルの両方を統合的に推論できるように、Vision Transformer（ViT）の性能を向上させること。
• 推論時に入力チャネルの部分集合しか利用できないという現実的状況において、モデルのロバスト性を向上させること。
• 未観測のチャネル組み合わせに対しても一般化を保証する正則化技術を導入すること。
• チャネル固有の表現が、注意マップにおける解釈可能性と特徴の局所化を向上させることを示すこと。

提案手法

• ChannelViT は、各入力チャネルごとに独立してパッチトークンを構築し、パッチ埋め込みプロセスにおいて各チャネルを別々のシーケンスとして扱う。
• 各パッチトークンに加算される学習可能なチャネル埋め込みを導入し、位置埋め込みと同様の役割を果たして、チャネル固有の情報を保持する。
• 全チャネルに共通する線形変換と位置埋め込みを用いることで、アーキテクチャの効率性を維持しながらチャネル間注意を可能にする。
• 階層的チャネルサンプリング（HCS）を正則化技術として導入：まずチャネル数をサンプリングし、その後に一様に特定のチャネル構成をサンプリングすることで、チャネルの疎らさに対するロバスト性を向上させる。
• HCS はチャネルドロップアウトとは異なり、すべてのチャネル数に均等な重みを割り当てることで、特定のチャネル組み合わせに偏らないようにする。
• アーキテクチャは ImageNet、JUMP-CP（顕微鏡）、So2Sat（衛星画像）で評価され、チャネルサブセットの一般化に関するアブレーションスタディが実施された。

Figure 1: Illustration of Channel Vision Transformer (ChannelViT). The input for ChannelViT is a cell image from JUMP-CP, which comprises five fluorescence channels (colored differently) and three brightfield channels (colored in B&W). ChannelViT generates patch tokens for each individual channel, u

実験結果

リサーチクエスチョン

• RQ1 画像認識タスクにおいて、意味的に異なる複数のチャネルを効果的に推論できるように Vision Transformer を適応させることは可能か？
• RQ2 提案された ChannelViT アーキテクチャは、多チャネル画像処理の文脈において、標準的な ViT と比較して性能とロバスト性をどのように向上させるか？
• RQ3 テスト時に入力チャネルの部分集合しか利用できない状況下で、階層的チャネルサンプリング（HCS）は一般化性能をどの程度向上させるか？
• RQ4 学習可能なチャネル埋め込みは、注意マップにおける解釈可能性と特徴の局所化を向上させることができるか？
• RQ5 モデルは、不完全なチャネルセットで学習し、未観測のチャネル組み合わせでテストした場合でも、強力な性能を維持できるか？

主な発見

• ImageNet において、ChannelViT は HCS を用いて 66.22% のトップ-1 精度を達成し、ViT の 52.06% を上回る。
• 顕微鏡ベンチマーク JUMP-CP において、ChannelViT-S/16 は 4 チャネルでテストした際、ViT-S/16 より 14.28% の相対的改善を示し、8 チャネルで学習して 7 チャネルでテストした際には 35.13% の改善を達成した。
• 赤色チャネルのみを使用した場合、HCS により ImageNet の検証精度が 29.39% から 68.86% に向上し、チャネルの疎らさに対する強いロバスト性を示した。
• HCS は ViT および ChannelViT の両方で一貫して一般化性能を向上させ、FAN-S/16（線形パッチ）が HCS で学習した場合、部分的チャネルでのテストにおいて非 HCS 版を上回った。
• ChannelViT の注意マップ可視化により、意味的でチャネル固有の特徴の重要性が明確に現れ、空間的およびスペクトル的次元におけるモデルの解釈可能性が向上した。
• ChannelViT における学習済みチャネル埋め込みは、解釈可能な意味的役割に対応しており、モデルが異なるチャネル情報を効果的に区別し、活用していることが示された。

Figure 2: Correlation patterns among image channels (left) and the learned channel embeddings (right) for ImageNet, JUMPCP, and So2Sat. ImageNet displays a strong correlation among the three RGB input channels while JUMPCP and So2Sat show minimal correlation between different signal sources (Fluores