[論文レビュー] Towards A Fairer Landmark Recognition Dataset

Zu Kim, André Araujo+6 more|arXiv (Cornell University)|Aug 19, 2021

Advanced Image and Video Retrieval Techniques参考文献 6被引用数 4

ひとこと要約

この論文は、匿名化されたGoogleマップ利用者の寄与を階層的サンプリングしてランドマークの関連性を推定し、世界の人口統計と補正することで地理的・社会経済的バイアスを低減する、より公平なランドマーク認識データセットを提案する。このデータセットは、GLDv2などの先行データセットと比較して、特にアフリカ、インド、中東の地理的・文化的に未反映な地域の代表性が著しく向上しており、2021年Googleランドマークチャレンジのベンチマーク評価で裏付けられている。

ABSTRACT

We introduce a new landmark recognition dataset, which is created with a focus on fair worldwide representation. While previous work proposes to collect as many images as possible from web repositories, we instead argue that such approaches can lead to biased data. To create a more comprehensive and equitable dataset, we start by defining the fair relevance of a landmark to the world population. These relevances are estimated by combining anonymized Google Maps user contribution statistics with the contributors' demographic information. We present a stratification approach and analysis which leads to a much fairer coverage of the world, compared to existing datasets. The resulting datasets are used to evaluate computer vision models as part of the the Google Landmark Recognition and RetrievalChallenges 2021.

研究の動機と目的

• Webリポジトリから収集された既存のランドマーク認識データセットに存在する地理的・社会経済的バイアスに対処すること。
• アフリカ、インド、中東のような未反映地域のランドマークデータセットにおける代表性を向上させること。
• 利用者寄与統計と世界の人口統計を組み合わせることで、公平なランドマーク関連性を推定する手法を開発すること。
• 2021年Googleランドマーク認識およびリtrievalチャレンジ用の評価データセットを構築し、より公平なグローバルカバレッジを反映させること。
• 将来の公平なランドマーク認識におけるモデル開発の基準としての基準評価を提供すること。

提案手法

• ランドマークの関連性を、個人的有用性と観光的魅力という2つの次元に基づき定義し、世界の人口の関連性を反映させる。
• ランドマークの人気度の代理指標として、匿名化・集計されたGoogleマップ利用者寄与データ（例：画像アップロード、評価）を用いる。
• 人口統計的偏りを是正するため、$ P(c) = \sum_h P(c|h)P(h) $ をモデル化し、階層的サンプリングを適用する。ここで $ h $ は人口統計的グループを表す。
• 世界の人口統計（例：性別、国、年齢）を用いて $ P(h) $ を推定し、特定のグループの過剰または不十分な代表を是正する。
• $ P(c|h) = A_{c,h}/A_h $ を用いて、50,000のランドマークについて関連性スコアを計算する。ここで $ A_{c,h} $ はグループ $ h $ がランドマーク $ c $ に寄与した量を表す。
• 関連性スコアに基づき、GLDv2およびWikimediaからの画像を再サンプリングし、より公平なグローバル分布を実現する新しい評価データセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、寄与者のバイアスの強い人口統計ではなく、世界の人口分布を反映したランドマーク関連性を推定できるか？
• RQ2 利用者寄与の階層的サンプリングは、ランドマーク認識データセットにおける地理的バイアスをどの程度低減できるか？
• RQ3 人口統計調整済みの関連性スコアを用いることで、より公平なランドマーク認識およびリtrievalチャレンジ用の評価データセットを構築できるか？
• RQ4 新しい公平なデータセットにおけるモデルのパフォーマンスは、従来のベンチマークと比較して、公平性および一般化性能の観点でどの程度向上しているか？
• RQ5 人口統計的補正がなされても、ウェブベースの寄与データを用いて世界のランドマーク関連性を推定する際の限界は何か？

主な発見

• 提案された階層的アプローチにより、特にアフリカと南アジアの未反映地域の代表性が、GLDv2と比較して顕著に向上している。これは、上位5000件のランドマークにおける大陸分布から明らかである。
• 階層的データセットの上位10件のランドマークには、サウジアラビアのマスジド・アル＝ハラーム、インドのタージ・マハル、エジプトのギザのピラミッドなど、多様な地域にまたがる世界的に重要な文化的・文化的な施設が含まれており、西洋のランドマークの過剰代表が軽減されている。
• 2021年Googleランドマークチャレンジ用の新しい評価データセットは、人口統計調整済みの関連性スコアに基づく再サンプリングにより構築され、すべての地域のランドマークがより公平にカバーされている。
• DELG埋め込みを用いた基準評価では、認識（0.2303プライベート、0.2376パブリック）およびリtrieval（0.2223プライベート、0.2153パブリック）の両タスクで、2020年のベンチマークと比較してわずかな改善が見られた。
• 改善は見られるものの、インターネットアクセスが低い地域からのデータが不足していること、およびGoogleマップとWikimediaの両方に存在しないランドマークの関連性スコアが不完全であるという限界が依然として存在する。