[論文レビュー] Radio Galaxy Zoo: Using semi-supervised learning to leverage large unlabelled data-sets for radio galaxy classification under data-set shift

Inigo Val Slijepcevic, Anna M. M. Scaife+5 more|arXiv (Cornell University)|Apr 19, 2022

Galaxies: Formation, Evolution, Phenomena参考文献 61被引用数 33

ひとこと要約

この論文は、FixMatchを用いた半教師あり学習（SSL）を無線銀河分類に適用し、限られたラベルで精度が向上することを示しているが、データセットシフト下では性能が劣化することを明らかにした。正則化の利点にもかかわらず、ラベルなしデータが異なるカタログから来ると、クラス不均衡と事前確率シフトの影響で性能が著しく低下し、ドメイン特化の適応がなければSSLの実用的有用性は制限される。

ABSTRACT

In this work we examine the classification accuracy and robustness of a state-of-the-art semi-supervised learning (SSL) algorithm applied to the morphological classification of radio galaxies. We test if SSL with fewer labels can achieve test accuracies comparable to the supervised state-of-the-art and whether this holds when incorporating previously unseen data. We find that for the radio galaxy classification problem considered, SSL provides additional regularisation and outperforms the baseline test accuracy. However, in contrast to model performance metrics reported on computer science benchmarking data-sets, we find that improvement is limited to a narrow range of label volumes, with performance falling off rapidly at low label volumes. Additionally, we show that SSL does not improve model calibration, regardless of whether classification is improved. Moreover, we find that when different underlying catalogues drawn from the same radio survey are used to provide the labelled and unlabelled data-sets required for SSL, a significant drop in classification performance is observered, highlighting the difficulty of applying SSL techniques under dataset shift. We show that a class-imbalanced unlabelled data pool negatively affects performance through prior probability shift, which we suggest may explain this performance drop, and that using the Frechet Distance between labelled and unlabelled data-sets as a measure of data-set shift can provide a prediction of model performance, but that for typical radio galaxy data-sets with labelled sample volumes of O(1000), the sample variance associated with this technique is high and the technique is in general not sufficiently robust to replace a train-test cycle.

研究の動機と目的

• 限られたラベル付きデータでの半教師あり学習（SSL）が、無線銀河の形態分類において教師あり学習の性能に近づけるかどうかを評価すること。
• ラベル付きデータとラベルなしデータの分布に差異があること——特に、ラベル付きデータとラベルなしデータが異なるカタログに由来する場合——がSSL性能に与える影響を調査すること。
• ラベルなしデータが異なる調査カタログから来ることを想定し、SSLがモデルのキャリブレーションや未観測データへの一般化性能を向上させるかどうかを評価すること。
• 共変量シフト下でのSSLモデル性能を予測するためのFrechet距離の有効性をテストすること。
• クラス不均衡やデータ分布の整合性欠如といった、無線天文学におけるSSLの主な失敗モードを同定すること。

提案手法

• FixMatch SSLアルゴリズムを無線銀河画像に適用し、弱い増幅と強い増幅を用いてラベルなしデータの疑似ラベルを生成する。
• 小規模なラベル付きデータセット（MiraBest）と大規模なラベルなしデータセット（RGZ DR1）を用いて畳み込みニューラルネットワーク（CNN）を学習し、増幅された画像間での一貫性正則化を適用する。
• ラベル付きデータとラベルなしデータの分布間のFrechet距離を、データセットシフトの代理指標として用い、分布の乖離度を測定する。
• 2つのケース（A：データ分布が一致する、B：異なるカタログ由来の不一致）におけるモデル性能を比較する。
• 期待キャリブレーション誤差（ECE）を用いてモデルのキャリブレーションを評価し、ラベル付きデータと同一分布に従うテストセットにおける性能を評価する。
• ラベル選択やデータ選択がモデル性能に与える影響を分析することで、アクティブラーニングの原則を間接的に適用する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付き例しか利用できない状況で、半教師あり学習が教師あり学習と同等のテスト精度を達成できるか？
• RQ2 ラベルなしデータがラベル付きデータとは異なる根本的なカタログ由来の場合、性能はどの程度劣化するか？
• RQ3 分類精度が向上したとしても、半教師あり学習がモデルのキャリブレーションを改善するのか？
• RQ4 ラベル付きデータとラベルなしデータの分布間のFrechet距離が、半教師あり学習におけるモデル性能を予測できるか？
• RQ5 ラベルなしデータにクラス不均衡がある場合、それがデータセットシフト下での性能劣化にどの程度寄与しているか？

主な発見

• FixMatchを用いた半教師あり学習は、ラベル数が少ない場合に教師ありベースラインを上回るテスト精度を達成するが、ラベル数の範囲が非常に狭い範囲でのみ有効である。
• 極めて少ないラベル数では性能が急激に低下し、極めて希少なラベル付けには限定的な利点しか得られないことが示された。
• 精度の向上にもかかわらず、キャリブレーションは向上せず、不確実性推定が依然として信頼性がないことが示唆された。
• ラベルなしデータが異なるカタログ由来（ケースB）の場合、性能が著しく低下し、データセットシフトによる深刻な悪影響が確認された。
• ラベルなしデータのクラス不均衡は、事前確率シフトを引き起こし、これがデータセットシフト下での性能劣化の主な要因であることが判明した。
• Frechet距離はテスト精度と相関しており、ラベルなしデータ選択の指針として有効であるが、高いサンプル分散のため、完全なトレイン・テストサイクルの代替にはならない。