[論文レビュー] Self-Supervised Learning for Fine-Grained Image Classification

Farha Al Breiki, Muhammad Ridzuan+1 more|arXiv (Cornell University)|Jul 29, 2021

Image Processing and 3D Reconstruction被引用数 4

ひとこと要約

本論文は、3つの事前学習タスク（ジグソーパuzzleの解法、敵対的超解像（SRGAN）、対照的学習（SimCLR））を用いて、細分化された画像分類のための自己教師あり学習（SSL）を調査している。カサバ病変データセットにおいて、下流の検証精度は83%に達し、SSLが豊富な人為的アノテーションがなくても判別可能な特徴を効果的に学習できることを示しているが、教師ありベースラインの88%には及ばない。

ABSTRACT

Fine-grained image classification involves identifying different subcategories of a class which possess very subtle discriminatory features. Fine-grained datasets usually provide bounding box annotations along with class labels to aid the process of classification. However, building large scale datasets with such annotations is a mammoth task. Moreover, this extensive annotation is time-consuming and often requires expertise, which is a huge bottleneck in building large datasets. On the other hand, self-supervised learning (SSL) exploits the freely available data to generate supervisory signals which act as labels. The features learnt by performing some pretext tasks on huge unlabelled data proves to be very helpful for multiple downstream tasks. Our idea is to leverage self-supervision such that the model learns useful representations of fine-grained image classes. We experimented with 3 kinds of models: Jigsaw solving as pretext task, adversarial learning (SRGAN) and contrastive learning based (SimCLR) model. The learned features are used for downstream tasks such as fine-grained image classification. Our code is available at http://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classification

研究の動機と目的

• 細分化された画像分類のための高価で専門家がアノテートしたデータセットへの依存を減らすために、自己教師あり学習（SSL）を活用すること。
• ジグソーパuzzleの解法、敵対的超解像、対照的学習といった異なるSSL事前学習タスクの有効性を、細分化された分類タスクにおいて評価すること。
• 自己教師あり表現が、細分化された視覚認識タスクにおいて教師ありモデルと同等またはそれに近い性能を達成できるかどうかを調査すること。
• テクスチャーや形状といった判別可能な特徴を学習する能力を分析し、色の区別がうまくいかないなどの制限要因を同定すること。

提案手法

• 12,000枚のラベルなしカサバの葉画像を用いて、3つのSSLアプローチ（ジグソーパuzzleの解法、SRGANベースの超解像、SimCLRの対照的学習）で事前学習モデルを訓練した。
• ジグソーパuzzleでは、画像を3×3のパッチに分割し、モデルが正しいパッチ配置を予測するようにした。これにより、空間的および局所的特徴の学習が促進された。
• SRGANでは、低解像度入力から高解像度画像を再構成するジェネレータを訓練し、識別器が本物と生成画像を区別するようにした。
• SimCLRでは、パッチの入れ替え、粗いドロップアウト、ジグソーパuzzleを含むデータ拡張を適用し、対照的学習のためのポジティブなビューを生成した。
• 学習済み特徴を用いて、6,000枚のラベル付き画像で下流分類を実行した。クラスの不均衡はデータ拡張とクラスウェイトを用いて対処した。
• モデルの性能は検証精度で評価され、Grad-CAMの可視化を用いて学習された注目度と特徴の重要度を解釈した。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテートされたボクシングボックスやパーツレベルの監視がなくても、自己教師あり学習が細分化された視覚的表現を効果的に学習できるか？
• RQ2 ジグソーパuzzle、敵対的超解像、対照的学習といった異なるSSL事前学習タスクは、細分化された分類タスクにおいてどのように性能を発揮するか？
• RQ3 自己教師ありモデルは、テクスチャーや形状といった判別可能な特徴をどの程度学習できるか。また、色に基づく区別を学習する際にどのような制限があるか？
• RQ4 ドロップアウトによる正則化は、特にSRGANのジェネレータにおいて、特徴学習を向上させるか？
• RQ5 自己教師ありモデルは、細分化された分類タスクにおいて、教師ありベースラインに近い性能を達成できるか？

主な発見

• ドロップアウト率0.5を分類器に適用した場合、SRGANジェネレータが83.3%の最高の下流分類精度を達成し、他のSSL手法を上回った。
• 教師ありベースラインは88%の精度を達成しており、SSLが有望であるものの、この設定では完全に教師あり学習に及ばないことが示された。
• ジグソーパuzzleの事前学習タスクは、3つのSSL手法の中で最も成績が悪く、このデータセットでは細分化された差を捉えるのに有効でないことが示唆された。
• Grad-CAMの可視化から、SRGANジェネレータは当初、葉の特徴に注目できなかったが、ドロップアウトを追加した後、関連する葉領域に注目するようになり、識別器を上回る性能を発揮した。
• モデルは色を区別する要因としてうまく活用できず、色の違いがあるにもかかわらず誤分類された失敗事例が観察された。
• ドロップアウト正則化は特徴学習を顕著に向上させ、特にSRGANジェネレータにおいて顕著であり、識別器を上回る分類性能を達成できた。