[論文レビュー] Semi-supervised learning of images with strong rotational disorder: assembling nanoparticle libraries

Maxim Ziatdinov, Muammer Y. Yaman+3 more|arXiv (Cornell University)|May 24, 2021

Genetics, Bioinformatics, and Biomedical Research被引用数 4

ひとこと要約

本論文では、少量のラベル付きデータを活用して、大規模なラベルなしデータセットに一般化できる、回転不変性を備えた半教師付き変分オートエンコーダー（ss-rVAE）を提案する。このモデルは回転不変な潜在空間を学習し、それを下流の分類器に転送することで、実験的電子顕微鏡データにおけるナノ粒子ライブラリの構築と物理的要因の分離を可能にする。

ABSTRACT

The proliferation of optical, electron, and scanning probe microscopies gives rise to large volumes of imaging data of objects as diversified as cells, bacteria, pollen, to nanoparticles and atoms and molecules. In most cases, the experimental data streams contain images having arbitrary rotations and translations within the image. At the same time, for many cases, small amounts of labeled data are available in the form of prior published results, image collections, and catalogs, or even theoretical models. Here we develop an approach that allows generalizing from a small subset of labeled data with a weak orientational disorder to a large unlabeled dataset with a much stronger orientational (and positional) disorder, i.e., it performs a classification of image data given a small number of examples even in the presence of a distribution shift between the labeled and unlabeled parts. This approach is based on the semi-supervised rotationally invariant variational autoencoder (ss-rVAE) model consisting of the encoder-decoder "block" that learns a rotationally (and translationally) invariant continuous latent representation of data and a classifier that encodes data into a finite number of discrete classes. The classifier part of the trained ss-rVAE inherits the rotational (and translational) invariances and can be deployed independently of the other parts of the model. The performance of the ss-rVAE is illustrated using the synthetic data sets with known factors of variation. We further demonstrate its application for experimental data sets of nanoparticles, creating nanoparticle libraries and disentangling the representations defining the physical factors of variation in the data. The code reproducing the results is available at https://github.com/ziatdinovmax/Semi-Supervised-VAE-nanoparticles.

研究の動機と目的

• ラベル付きデータが非常に少ない状況で、強い回転および平行移動の不規則性を示す画像の分類を困難とする課題に対処すること。
• 弱い不規則性を示すラベル付きデータから、方向や位置の分布シフトが強いラベルなしデータへ一般化する手法を開発すること。
• 分離可能な表現を用いて、実験的電子顕微鏡データからスケーラブルで解釈可能なナノ粒子ライブラリを構築すること。
• オートエンコーダーから得た回転および平行移動不変性を下流の分類器に転送し、新しいデータに対して展開可能にする。

提案手法

• ss-rVAEモデルは、データ拡張と等変換設計を用いて、潜在空間における回転および平行移動不変性を実現するエンコーダ・デコーダアーキテクチャを統合する。
• モデルは、回転および平行移動に対する不変性を、拡張と群等変換制約を用いて実現する変分オートエンコーダー（VAE）フレームワークを採用する。
• 分類器ヘッドは、不変な潜在表現上で訓練され、エンコーダから得た回転および平行移動不変性を引き継ぐ。
• この手法は、教師あり学習のためのラベル付きデータと、自己教師あり事前学習のためのラベルなしデータの両方を活用し、半教師あり一般化を実現する。
• モデルは再構成損失、KLダイバージェンス、およびラベル付きデータにおける交差エントロピー損失の組み合わせを用いて、エンドツーエンドで訓練される。
• フレームワークは、既知の要因の変動を持つ合成データに適用された後、電子顕微鏡からの実際のナノ粒子データセットに適用される。

実験結果

リサーチクエスチョン

• RQ1 少量のラベル付き画像（弱い不規則性）から、強い回転および平行移動の不規則性を示す大規模なラベルなし画像へ一般化できる半教師ありモデルは存在するか？
• RQ2 学習された潜在空間は、ナノ粒子画像データにおける粒子の形状やサイズといった物理的要因の変動をどの程度分離できるか？
• RQ3 ss-rVAEは、オートエンコーダーから得た回転および平行移動不変性を、下流の分類器にどの程度効果的に転送できるか？
• RQ4 最小限の人的ラベル付けで、実験的電子顕微鏡データから信頼性があり解釈可能なナノ粒子ライブラリを構築できるか？

主な発見

• ss-rVAEは、要因の変動が明確に分かっている合成データセットにおいて高い分類精度を達成し、回転と平行移動が他の要因から効果的に分離されていることを示した。
• モデルは、弱い不規則性を示すラベル付きデータから、強い不規則性を示すラベルなしデータへ一般化でき、分布シフトに対しても頑健な性能を示した。
• エンコーダから不変性を引き継いだ訓練済み分類器は、独立したテストセットでも高い精度を達成し、学習された不変性の転送性を確認した。
• 実験的ナノ粒子データセットへの適用により、原始的な顕微鏡画像から構造的で解釈可能なナノ粒子ライブラリの構築が可能になった。
• 分離可能な表現は、粒子の形態やサイズといった物理的要因の変動を明らかにし、意味のあるクラスタリングと分析を可能にした。