[論文レビュー] Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning

Jieshan Chen, Chunyang Chen+5 more|arXiv (Cornell University)|Mar 1, 2020

Tactile and Sensory Interactions参考文献 58被引用数 7

ひとこと要約

本稿では、CNNとトランスフォーマー・エンコーダーデコーダー・アーキテクチャを組み合わせた深層学習モデル、LabelDroidを提案する。このモデルは、Androidアプリの画像ベースGUIコンポーネントに対して自然言語によるラベルを自動で予測することを目的としている。Google Playから収集した大規模な商用アプリを用いて学習された本モデルは、高品質で簡潔なラベルを生成し、実際のAndroid開発者が作成するラベルを上回る性能を示しており、分析対象アプリの77％以上でラベルが欠落しているという深刻なアクセシビリティ問題を解決する。

ABSTRACT

According to the World Health Organization(WHO), it is estimated that approximately 1.3 billion people live with some forms of vision impairment globally, of whom 36 million are blind. Due to their disability, engaging these minority into the society is a challenging problem. The recent rise of smart mobile phones provides a new solution by enabling blind users' convenient access to the information and service for understanding the world. Users with vision impairment can adopt the screen reader embedded in the mobile operating systems to read the content of each screen within the app, and use gestures to interact with the phone. However, the prerequisite of using screen readers is that developers have to add natural-language labels to the image-based components when they are developing the app. Unfortunately, more than 77% apps have issues of missing labels, according to our analysis of 10,408 Android apps. Most of these issues are caused by developers' lack of awareness and knowledge in considering the minority. And even if developers want to add the labels to UI components, they may not come up with concise and clear description as most of them are of no visual issues. To overcome these challenges, we develop a deep-learning based model, called LabelDroid, to automatically predict the labels of image-based buttons by learning from large-scale commercial apps in Google Play. The experimental results show that our model can make accurate predictions and the generated labels are of higher quality than that from real Android developers.

研究の動機と目的

• 視覚障害者のスクリーンリーダー機能を妨げる、Androidアプリにおける画像ベースUIコンポーネントに対する自然言語ラベルの欠落という広範な問題に対処すること。
• 効果的なアクセシビリティラベルを書くことに意識や専門知識に欠ける開発者の負担を軽減すること。
• 既存の反応型テストツールとは異なり、能動的かつ自動的に正確で意味のあるラベルを予測するソリューションを提供すること。
• GUIコンポーネントの視覚的特徴と文脈的特徴を活用して、スケールアップ可能な自動ラベル生成を実現し、アプリのアクセシビリティを向上させること。

提案手法

• モデルは、画像ベースGUIコンポーネントから視覚的特徴を抽出するために畳み込みニューラルネットワーク（CNN）を用いる。
• トランスフォーマーに基づくエンコーダーデコーダー・アーキテクチャが、視覚的埋め込みを処理し、エンドツーエンドで自然言語ラベルを生成する。
• モデルは、Google Playから収集した10,408個のAndroidアプリからなる大規模データセットを用いて学習され、視覚的に表示されるテキストのない画像ベースボタンに焦点を当てる。
• 学習は、予測ラベルと正解ラベルの間の交差エントロピー損失を最小化することで行われ、アテンション機構により文脈に配慮したラベル生成が可能になる。
• モデルは、アプリのUI構造からの文脈的情報と視覚的外観の両方を活用することで、ラベルの関連性と明確さを向上させる。
• 人間による評価と自動評価指標を用いてモデルを評価し、実際のAndroid開発者が作成したラベルと比較した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、モバイルアプリの画像ベースGUIコンポーネントに対して、自然言語ラベルを正確に予測できるか？
• RQ2 自動生成ラベルの品質は、実際のAndroid開発者が作成したラベルと比べてどの程度高いか？
• RQ3 本モデルは、実世界の商用アプリにおける多様なアプリタイプや視覚的デザインにどの程度一般化できるか？
• RQ4 本モデルは、欠落したラベルに起因するアクセシビリティ問題を低減するための能動的ソリューションとして機能できるか？

主な発見

• 分析対象の10,408個のAndroidアプリの77％以上が、自然言語ラベルのない画像ベースボタンを含んでおり、これは広範なアクセシビリティ問題を示している。
• 人間による評価において、提案されたLabelDroidモデルが生成するラベルは、実際のAndroid開発者が作成するラベルよりも高い品質であると評価された。
• モデルは、画像ベースUIコンポーネントに対して、簡潔で情報量が多く、意味的に正確なラベルを生成するという点で優れたパフォーマンスを示した。
• CNNによる視覚的特徴の統合と、トランスフォーマーによる文脈モデリングが、ラベルの関連性と明確さを顕著に向上させた。
• Android Lint や Accessibility Scanner のような既存の反応型テストフレームワークとは異なり、本モデルは能動的アクセシビリティ保証ツールとしての可能性を示した。