[논문 리뷰] Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning

Jieshan Chen, Chunyang Chen외 5명|arXiv (Cornell University)|2020. 03. 01.

Tactile and Sensory Interactions참고 문헌 58인용 수 7

한 줄 요약

이 논문은 안드로이드 앱의 이미지 기반 GUI 컴포넌트에 대한 자연어 레이블을 자동으로 예측하기 위해 CNN와 트랜스포머 인코더-디코더 아키텍처를 결합한 딥러닝 모델인 LabelDroid를 제안한다. Google 플레이에서 확보한 대규모 상용 앱을 기반으로 훈련된 이 모델은 높은 품질의 간결한 레이블을 생성하며, 실제 안드로이드 개발자가 작성한 레이블보다도 뛰어나게 성능을 발휘하여 분석된 앱의 77% 이상에서 부족한 레이블로 인한 심각한 접근성 문제를 해결한다.

ABSTRACT

According to the World Health Organization(WHO), it is estimated that approximately 1.3 billion people live with some forms of vision impairment globally, of whom 36 million are blind. Due to their disability, engaging these minority into the society is a challenging problem. The recent rise of smart mobile phones provides a new solution by enabling blind users' convenient access to the information and service for understanding the world. Users with vision impairment can adopt the screen reader embedded in the mobile operating systems to read the content of each screen within the app, and use gestures to interact with the phone. However, the prerequisite of using screen readers is that developers have to add natural-language labels to the image-based components when they are developing the app. Unfortunately, more than 77% apps have issues of missing labels, according to our analysis of 10,408 Android apps. Most of these issues are caused by developers' lack of awareness and knowledge in considering the minority. And even if developers want to add the labels to UI components, they may not come up with concise and clear description as most of them are of no visual issues. To overcome these challenges, we develop a deep-learning based model, called LabelDroid, to automatically predict the labels of image-based buttons by learning from large-scale commercial apps in Google Play. The experimental results show that our model can make accurate predictions and the generated labels are of higher quality than that from real Android developers.

연구 동기 및 목표

• 시각 장애인의 스크린 리더 기능을 방해하는 안드로이드 앱의 이미지 기반 UI 컴포넌트에 대한 자연어 레이블 부족 문제를 해결하기 위해.
• 일반적으로 접근성 레이블 작성에 대한 인식이나 전문 지식이 부족한 개발자들이 느끼는 부담을 줄이기 위해.
• 기존의 반응형 테스트 도구에 비해 사전에 대응하는 자동화된 솔루션을 개발하여 이미지 기반 버튼에 대해 정확하고 의미 있는 레이블을 예측하기 위해.
• GUI 컴포넌트의 시각적 및 맥락적 특징을 기반으로 자동으로 레이블을 생성함으로써 대규모에서 앱의 접근성을 향상시키기 위해.

제안 방법

• 모델은 이미지 기반 GUI 컴포넌트에서 시각적 특징을 추출하기 위해 합성곱 신경망(CNN)을 사용한다.
• 트랜스포머 기반 인코더-디코더 아키텍처가 시각적 임bedding을 처리하고 종단 간(end-to-end) 방식으로 자연어 레이블을 생성한다.
• 모델은 Google 플레이에서 확보한 10,408개의 안드로이드 앱으로 구성된 대규모 데이터셋을 기반으로 훈련되며, 시각적으로만 구성된 텍스트가 없는 버튼에 집중한다.
• 훈련 과정에서는 예측 레이블과 정답 레이블 간의 교차 엔트로피 손실을 최소화하며, 주의 메커니즘(attention mechanisms)을 통해 맥락 인식 기반의 레이블 생성을 가능하게 한다.
• 모델은 앱의 UI 구조에서 유래한 시각적 외관과 맥락 정보를 모두 활용하여 레이블의 관련성과 명확성을 향상시킨다.
• 모델 평가는 인간 평가와 자동화된 메트릭을 통해 수행되며, 실제 안드로이드 개발자가 작성한 레이블과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 모바일 앱의 이미지 기반 GUI 컴포넌트에 대해 자연어 레이블을 정확하게 예측할 수 있는가?
• RQ2 자동으로 생성된 레이블의 품질이 실제 안드로이드 개발자가 작성한 레이블과 비교해 어떻게 되는가?
• RQ3 실제 상용 앱의 다양한 앱 유형과 시각적 디자인에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 모델이 누락된 레이블로 인한 접근성 문제를 사전에 방지하는 능동적인 솔루션으로 기능할 수 있는가?

주요 결과

• 분석된 10,408개의 안드로이드 앱 중 77% 이상에서 이미지 기반 버튼이 자연어 레이블 없이 존재하여 광범위한 접근성 문제를 확인했다.
• 실시된 인간 평가에서 제안된 LabelDroid 모델이 실제 안드로이드 개발자가 작성한 레이블보다 더 높은 품질로 평가되었다.
• 모델은 이미지 기반 UI 컴포넌트에 대해 간결하고 정보가 풍부하며 의미적으로 정확한 레이블을 생성하는 데 뛰어난 성능을 보였다.
• CNN를 통한 시각적 특징 통합과 트랜스포머를 통한 맥락 모델링이 레이블의 관련성과 명확성을 크게 향상시켰다.
• Android Lint 및 Accessibility Scanner와 같은 기존의 반응형 테스트 프레임워크를 보완하는 능동형 접근성 보증 도구로서의 잠재력을 보였다.