[論文レビュー] Self-supervised Representation Learning From Random Data Projectors

Yi Sui, Tongzi Wu+6 more|arXiv (Cornell University)|Oct 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本論文は、データの拡張やマスキングに依存せずに、ランダムなデータプロジェクションの再構成を学習する、モダリティに依存しない自己教師あり表現学習手法である Learning from Randomness (LFR) を提案する。この手法は、視覚、表形式、時系列データなど多様なモダリティで最先端の性能を達成し、ドメイン固有の拡張法の設計や特別なアーキテクチャの必要がない。

ABSTRACT

Self-supervised representation learning~(SSRL) has advanced considerably by exploiting the transformation invariance assumption under artificially designed data augmentations. While augmentation-based SSRL algorithms push the boundaries of performance in computer vision and natural language processing, they are often not directly applicable to other data modalities, and can conflict with application-specific data augmentation constraints. This paper presents an SSRL approach that can be applied to any data modality and network architecture because it does not rely on augmentations or masking. Specifically, we show that high-quality data representations can be learned by reconstructing random data projections. We evaluate the proposed approach on a wide range of representation learning tasks that span diverse modalities and real-world applications. We show that it outperforms multiple state-of-the-art SSRL baselines. Due to its wide applicability and strong empirical results, we argue that learning from randomness is a fruitful research direction worthy of attention and further study.

研究の動機と目的

• 視覚的・自然言語処理以外の分野では適切なデータ拡張が定義しにくいことによる、拡張に依存する自己教師あり学習（SSRL）の限界を解消すること。
• ヒストパスロジー画像や素粒子物理学の表形式データなど、感受性の高いデータに対して標準的な拡張を適用すると現実的でない、あるいは物理的に不自然なデータ例が生成されるリスクを回避すること。
• 任意のデータモダリティおよびニューラルネットワークアーキテクチャに適用可能な汎用的なSSRLフレームワークを構築すること。アーキテクチャ的制約やドメイン固有の拡張パイプラインを必要としない。
• ランダムプロジェクションからの学習が、最先端の対照的学習やマスキングオートエンコーダー手法と同等またはそれ以上の高品質な表現を生成できることを示すこと。

提案手法

• 本手法は、ランダムに生成されたプロジェクション関数 $ G = \{g^{(k)}(\mathbf{x})\} $ に対して、学習された表現 $ \mathbf{z} $ からこれらの関数の出力を予測できるように、ニューラルネットワークエンコーダーを学習する。
• 各ランダムプロジェクタ $ g^{(k)} $ は、固定されたランダム重みを持つ小さなニューラルネットワークとして実装され、入力データ $ \mathbf{x} $ に適用され、スカラーまたはベクトルの出力を生成する。
• 予測出力 $ h^{(k)}(\mathbf{z}) $ と真のランダムプロジェクション $ g^{(k)}(\mathbf{x}) $ の差を最小化する再構成損失を用いてモデルを訓練する。マルチヘッド予測ヘッドを用いる。
• 訓練プロセスは、エンコーダー $ f_{\theta} $ と予測器 $ H_{\Phi} $ の更新を交互に繰り返す。予測器はエンコーダーの更新ごとに複数エポックにわたり訓練され、安定性と性能向上を図る。
• 本手法はアーキテクチャに依存せず、トランスフォーマーや特定のバックボーン設計を必要としないため、標準的な畳み込み層や全結合層を用いたネットワークにも適用可能である。
• ハイパーパrameterとして、プロジェクタ数 $ K $、バッチサイズ、潜在次元は経験的に調整され、ベンチマークタスクにおいて $ K=6 $、バッチサイズ256、潜在次元2048が最適な性能を示した。

Figure 1: Top: H&E stained histopathology images have a characteristic appearance with blue tones indicating cell nuclei, while cytoplasm is stained pink (Chan, 2014 ) . Bottom: Color jitter with the standard settings of (Chen & He, 2021 ) produces unrealistic augmentations with altered meanings. Ch

実験結果

リサーチクエスチョン

• RQ1 データ拡張やマスキングに依存せずに、特にこれらの手法が不適切または有害なデータモダリティ（例：非視覚的・非NLP分野）において高品質な自己教師あり表現を学習できるか？
• RQ2 提案手法LFRの性能は、多様なデータモダリティにおいて最先端の対照的学習およびマスキングオートエンコーダーベースラインと比較してどうなるか？
• RQ3 ランダムプロジェクタ数、バッチサイズ、予測器のトレーニングスケジュールといった主要なハイパーパrameterが、学習された表現の質に与える影響は何か？
• RQ4 医療画像や物理シミュレーションデータなど、厳密なデータ制約がある実世界の応用に、本手法は効果的に一般化できるか？
• RQ5 ランダムプロジェクションは、自己教師あり表現学習におけるヒューリスティックな事前学習タスクの代替として実用的でかつ頑健な選択肢となり得るか？

主な発見

• LFR手法は、視覚、表形式、時系列データなど多様なデータモダリティにおいて、多数の最先端SSRLベースラインを上回る性能を示し、強力な一般化能力を示した。
• ヒストパスロジー画像分類のKvasirデータセットにおいて、6つのランダムプロジェクタを用いて線形評価精度94.8%を達成し、ドメイン固有の拡張なしでも優れた性能を示した。
• 最適なランダムプロジェクタ数は6であった。これより多くすると、特徴の重複と勾配バイアスの影響により性能が低下した。
• バッチサイズは性能にほとんど影響を与えず、64から512の範囲で安定した結果を示したが、256が最も高い精度を達成し、バッチサイズの変動に頑健であることを示した。
• 潜在次元を増やすことで性能は2048まで向上したが、以降は上昇が著しく小さくなり、表現能力の飽和点に達したことが示された。
• エンコーダー更新ごとに複数エポックにわたり予測器を訓練する交互トレーニングは、同時学習よりも性能向上をもたらした。これは、最適化された予測器が表現品質を向上させることを示している。

Figure 2: Our proposed architecture for learning from randomness. An input $\mathbf{x}$ is encoded by $f_{\theta}$ into a useful representation $\mathbf{z}$ , while also being fed to random projection functions $g^{(k)}$ . Simple, learnable predictor functions $h^{(k)}_{\phi}$ try to match the outpu