[논문 리뷰] Semi-supervised learning of images with strong rotational disorder: assembling nanoparticle libraries

Maxim Ziatdinov, Muammer Y. Yaman외 3명|arXiv (Cornell University)|2021. 05. 24.

Genetics, Bioinformatics, and Biomedical Research인용 수 4

한 줄 요약

이 논문은 소량의 레이블 데이터를 활용하여 강한 회전 및 이동 불규칙성을 가진 이미지의 분류를 가능하게 하는 준지도 학습 회전 불변 변분 오토인코더(ss-rVAE)를 제안한다. 이 모델은 잠재 공간에서 회전 불변성을 학습하고, 이를 후속 분류기로 전이함으로써 실험적 현미경 이미지 데이터에서 노이즈가 심한 나노입자 라이브러리 구축과 물리적 변동 요인의 분리 가능성을 확보한다.

ABSTRACT

The proliferation of optical, electron, and scanning probe microscopies gives rise to large volumes of imaging data of objects as diversified as cells, bacteria, pollen, to nanoparticles and atoms and molecules. In most cases, the experimental data streams contain images having arbitrary rotations and translations within the image. At the same time, for many cases, small amounts of labeled data are available in the form of prior published results, image collections, and catalogs, or even theoretical models. Here we develop an approach that allows generalizing from a small subset of labeled data with a weak orientational disorder to a large unlabeled dataset with a much stronger orientational (and positional) disorder, i.e., it performs a classification of image data given a small number of examples even in the presence of a distribution shift between the labeled and unlabeled parts. This approach is based on the semi-supervised rotationally invariant variational autoencoder (ss-rVAE) model consisting of the encoder-decoder "block" that learns a rotationally (and translationally) invariant continuous latent representation of data and a classifier that encodes data into a finite number of discrete classes. The classifier part of the trained ss-rVAE inherits the rotational (and translational) invariances and can be deployed independently of the other parts of the model. The performance of the ss-rVAE is illustrated using the synthetic data sets with known factors of variation. We further demonstrate its application for experimental data sets of nanoparticles, creating nanoparticle libraries and disentangling the representations defining the physical factors of variation in the data. The code reproducing the results is available at https://github.com/ziatdinovmax/Semi-Supervised-VAE-nanoparticles.

연구 동기 및 목표

• 소량의 레이블 데이터만 존재할 때 강한 회전 및 이동 불규칙성을 가진 이미지의 분류 과제를 해결하기 위해.
• 약한 불규칙성만 있는 레이블 데이터에서 출발해 강한 방향성 및 위치 분포 이탈이 발생하는 비라벨 데이터로 일반화할 수 있는 방법을 개발하기 위해.
• 분리 가능한 표현을 활용해 실험적 현미경 데이터에서 확장 가능한 해석 가능한 나노입자 라이브러리를 구축하기 위해.
• 오토인코더에서 학습한 회전 및 이동 불변성을 후속 분류기로 전이하여 신규 데이터에 적용 가능하게 하기 위해.

제안 방법

• ss-rVAE 모델은 데이터 증강 및 등변형 설계를 통해 잠재 공간에서 회전 및 이동 불변성을 확보한 인코더-디코더 아키텍처를 통합한다.
• 군 등변형 제약 조건과 증강을 통해 잠재 공간이 회전 및 이동에 대해 불변이 되도록 하는 변분 오토인코더(VAE) 프레임워크를 사용한다.
• 불변 잠재 표현에 기반해 분류기 헤드를 학습함으로써 인코더에서 유도된 회전 및 이동 불변성을 승계한다.
• 감독 학습을 위해 레이블 데이터를 활용하고, 자기지도 학습 전훈을 위해 비라벨 데이터를 활용함으로써 준지도 일반화를 가능하게 한다.
• 재구성 손실, KL 발산, 레이블 데이터에 대한 교차 엔트로피 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 모델은 먼저 인위적 요인의 변화가 알려진 합성 데이터에 적용된 후, 현미경에서 확보한 실제 나노입자 데이터셋에 적용된다.

실험 결과

연구 질문

• RQ1 소량의 레이블이 있는 약한 불규칙성 이미지에서 출발해 강한 회전 및 이동 불규칙성을 가진 대규모 비라벨 이미지로 일반화할 수 있는 준지도 모델은 가능한가?
• RQ2 학습된 잠재 공간이 나노입자 영상 데이터에서 입자 형태나 크기와 같은 물리적 변동 요인을 어느 정도 분리할 수 있는가?
• RQ3 ss-rVAE는 오토인코더에서 학습한 회전 및 이동 불변성을 후속 분류기로 얼마나 잘 전이하는가?
• RQ4 최소한의 인간 레이블링으로 실험적 현미경 이미지에서 신뢰할 수 있고 해석 가능한 나노입자 라이브러리를 만들 수 있는가?

주요 결과

• ss-rVAE는 인위적 요인의 변화가 알려진 합성 데이터셋에서 높은 분류 정확도를 달성하며, 다른 요인과의 회전 및 이동 불변성이 효과적으로 분리됨을 입증한다.
• 약한 불규칙성만 있는 레이블 데이터에서 출발해 강한 불규칙성의 비라벨 데이터로 일반화가 성공적으로 이루어져, 분포 이탈에도 불구하고 뛰어난 성능을 유지한다.
• 인코더에서 유도된 불변성을 승계한 분류기는 독립 테스트 세트에서 높은 정확도를 달성하여 학습된 불변성의 전이 가능성 확인한다.
• 실제 나노입자 데이터셋에 적용함으로써 원시 현미경 이미지에서 체계적이고 해석 가능한 나노입자 라이브러리가 구축됨을 가능하게 한다.
• 분리 가능한 표현은 입자 형태학적 특성과 크기와 같은 물리적 변동 요인을 드러내어 의미 있는 군집화 및 분석을 가능하게 한다.